Był synem Clausa von Stauffenberga i jego żony Niny. W 1944, po nieudanym zamachu na Adolfa Hitlera dokonanym przez ojca, został – w ramach represji wobec rodziny ("Sippenhaft") – wraz z rodzeństwem odebrany matce i pod nazwiskiem Meister umieszczony w rodzinie zastępczej.