Dopo il fallito attentato di suo padre contro Adolf Hitler del 20 luglio 1944, fu mandato insieme ai suoi fratelli e alla sorella in un orfanotrofio a Bad Sachsa, in Bassa Sassonia, e gli fu dato il cognome "Meister", in quanto per i nazisti il cognome von Stauffenberg era inaccettabile proprio a causa del ruolo di Claus Schenk von Stauffenberg nel complotto. Sua madre, i due fratelli maggiori e la sorella minore furono allo stesso modo arrestati per via della legge nazista del Sippenhaft.