Han var gift med Toshiko Shirasu-Aihara, en olympisk deltaker i turn i Rom og Tokyo.