Schmidt giftet seg under en kirkelig vielse 27. juni 1942 med Hannelore «Loki» Glaser, født 3. mars 1919. De hadde kjent hverandre siden skoledagene i 1929. Hannelore Schmidt døde 21. oktober 2010. Ekteparet fikk to barn. Sønnen Helmut Walter ble født 26. juni 1944, men døde allerede i februar 1945 av hjernehinnebetennelse.