Yamasaki contrajo matrimonio con Teruko Hirashiki en 1941, con quien tuvo tres hijos.