Han er sønn av grev Claus von Stauffenberg og baronesse Nina von Lerchenfeld. I 1965 ble han gift med baronesse Elisabeth von und zu Guttenberg. De har fire barn: Caspar, Sophie, Karl og Nina.