16歳のときに東京に住んでいた三兄井上通泰(帝国大学医科大学に在学中)と同居、図書館に通い読書を続ける。