Han var sønn av Württembergs siste overhoffmarskalk, grev Alfred Schenk von Stauffenberg og Caroline von Üxküll-Gyllenband, og var bror av Berthold Schenk von Stauffenberg og Claus Schenk von Stauffenberg. Hans to brødre var sentrale i motstanden mot det nasjonalsosialistiske regimet, og ble henrettet ved slutten av annen verdenskrig, etter 20. juli-attentatet.