Berthold von Stauffenberg wurde als Sohn des württembergischen Oberhofmarschalls Alfred Schenk Graf von Stauffenberg und dessen Ehefrau Caroline, geb. Gräfin Üxküll-Gyllenband, geboren. Sein Zwillingsbruder war Alexander, sein jüngerer Bruder Claus, der am 20. Juli 1944 das Attentat auf Hitler verübte. Über seine Mutter hatte er auch preußische Vorfahren wie den preußischen Heeresreformer August Graf Neidhardt von Gneisenau.