在横滨住了五个多月。他虽然理解武田的精神痛楚，但无法忍受他每天念经的声音以及与鬼神共处的迷信氛围。他只好改变长住此地的计划，迁往东京，住进神田区中华留日青年会宿舍。在这里他得到了一个单间住房，在楼下食堂吃饭，每天三餐饭后都外出散步，顺便到附近的书店去逛逛，便中购得不少西文旧书。这时他认真学习日本语，用本岛木健描写监狱生活的小说做教材。他万万没想到东京竟也提供了他实地考察监狱的机会。那是1935年4月，溥仪访日前的某天深夜两点，他刚刚睡熟，五个便衣刑警粗暴地闯了进来，搜查他的房间，翻阅并没收了他的信件，又强行将他带去警署。虽然没有获得任何“罪证”，还是将他关进了监狱。监房狭小而拥挤，臭气熏天。在这里，犯人不被当做人看，不仅被无理搜身，而且没有姓名，只有代号，巴金的代号是76。在这里吃的是不能饱腹的粗劣的囚饭，听到的是警察的厉声呵斥……第二天的黄昏他被无罪开释，结束了这场噩梦。然而气恼愤懑却在胸中鼓荡，他把这漫长一天的经历写成了短篇小说《人》，表达了他的控诉与抗议。　　在东京的那些夜晚，是他静心读书写作的好时光。这时他读了二三十本关于法国大革命的著述。他不改初衷，仍想译出十部自己崇敬的革命家的自传。已经和正在译的有克鲁泡特金和柯克曼，还想译的是沙文考夫(路卜洵)、爱玛·高德曼、妃格念尔等八个人的自传或狱中记。也在这时，屠格涅夫的散文诗吸引了他，尤其是那首《门槛》，他被俄罗斯女杰的献身精神深深感动。这些还不是他来日本的主要收获，主要的收获是什么呢?　　在横滨与东京离群索居的日子里，他有了多年不曾有的思索时间。每天白天，尤其是黄昏的时候，夕阳的余晖从书桌上隐去了，他静静地坐在躺椅上，也不去开灯，只做一件事情：思索。这几乎成了他的日课，他要查勘自己的伤痕，探索自己的内心。　　为什么来日本?理由好像很多：学日文、开阔眼界、买外文书、受来过日本的朋友的蛊惑……但是他知道，真正的驱动力还是那多年困扰他的不曾解决的矛盾。他是一个有信仰的人。按说，一个有信仰的人是不应该有痛苦的。然而，巴金却永远摆脱不掉痛苦：感情与理智，思想与行为总是在冲突之中。　　记忆给了他养料，也成了他生命力的源泉。在日本他写了两篇回忆散文：《信仰与活动》、《小小的经验》，它们把他带回如火如荼的五四时代，从《告少年》和《夜未央》里他找到了终身事业，这事业又是与他在仆人轿夫身上发现的原始的正义的信仰相吻合的。现在那个孩子的幻梦虽然消失了，但他的理想愿望并没有改变。他愿意每个人都有住房，每张口都有饱饭，每颗心都得到温暖。他想揩干每个人的眼泪，不再让任何人拉掉别人的一根头发。从成都到上海到巴黎，他有了许许多多志同道合的朋友，他们散布在各个地方，他们连起来看不见落日。他还想起了多次的南国之行，在福建、在广东，不少年龄和他相仿的朋友在做着实际的工作；开展工运、发动农民、普及教育……巴金在他们中间生活过，那些龙眼花开和果实挂满枝头的阳光灿烂的日子是最幸福快乐的。朋友们劝他留下来，在一个固定的地方一起做一些事情，他还是毅然地走了……在对往事的回眸中，他有一种想流泪似的感动。他们这群年轻人就像怀了移山之志的愚公一样，曾经把为人类找幸福的船这个重担子不量力地放在肩上，那么投入，那么尽心尽意地忙碌过。但是面对浓重的黑暗，他感到所有的努力都跟着时间逝去了。国内到处仍是不平与黑暗。在种种阻碍社会进步的倾向、风气和势力面前，他实在无法闭上眼睛。来日本之前，他还在《文学》三卷五号上发表了短篇小说《沉落》。被好朋友沈从文误会他心胸狭窄，攻击个人，曾写信批评他。巴金没有接受这批评，因为小说抨击的是周作人一类知识分子的生活方式和行为。他们宣扬“勿抗恶”，即使日本拿走东三省，也可以不管不顾，还劝人“好好地利用时间做点自己的事情”。这风气、这倾向正是把我们民族推到深渊里去的势力之一。然而他能做的也就是写写“小说一类的东西”，这是多么微弱的呼声啊!这是多么令人痛心和难以接受的事实：“我们不能不承认失败了。”(《月夜》)这里可以理解为他对曾参与过的无政府主义运动失望了。他矛盾、痛苦、挣扎。