En 1945, con solo 18 años, contrae matrimonio con Michiko Inaba, matrimonio concertado por su abuelo Sekiryo, de este matrimonio nacerán su hija Yoko (1950), su hija Fujiko (1957) y su hijo Katsuhito (1957).