Den 22. oktober 1941 giftet han seg med Takagi Yoriko, den nesteldste datteren til Takagi Masanori. Paret fikk fem barn. To av dem overlevde faren.