Nel 1907 inizia una relazione con la geisha Yone IIda. Questa esperienza si rivela essere molto infelice e lo condurrà alla depressione. Si ritira per ben due volte in meditazione, la prima nel 1913 nel tempio di Inō a Nikko e la seconda nel 1916 a Fujimi. Il 1º settembre 1923 il Grande Terremoto colpisce il Kanto, e tra le tante abitazioni distrutte c’è anche quella di IIda Yone. Katai compra una nuova casa alla donna che decide di abbandonare la sua professione di geisha per stare con lui.