El 26 de septiembre de 1933 contrajo matrimonio con la baronesa Nina Freiin von Lerchenfeld en Bamberg, con la cual tuvo cinco hijos: Berthold, Heimeran, Franz-Ludwig, Valerie y Konstanze, la menor de los cuales nacería tras la muerte de von Stauffenberg.