En octubre de ese año, huyó con una geisha llamada Hatsuyo Oyama, lo que provocó que fuese desheredado y expulsado por su familia.