Aunque consideró brevemente el enlace con Michiko Shōda, quien se convertiría después en esposa del emperador Akihito, se casó con Yoko Sugiyama en 1958.