Schleyer ble i 1939 gift med Waltrude Ketterer (1916–2008), datter av legen og byråden i München, SA-Obergruppenführer Emil Ketterer. De fikk fire sønner.