Hagiwara contrajo matrimonio con Ueda Ineko en 1919; tuvo dos hijas, Yōko (1920 – 2005) y Akirako (1922 - ).