En 1926 se casó con Hiroko Satō, la hija del diplomático Yōsuke Matsuoka, y con ella tuvo dos hijos: Ryūtarō and Shinji.