30 травня 1904 року одружився з графинею Кароліною фон Юкскюлль-Гилленбанд (1875—1956). У шлюбі двічі народилися близнюки: Александер (1955—1964) і Бертольд (1905—1944), Клаус (1907—1944) і Конрад (1907; помер за кілька годин). Сини Штауффенберга брали участь в Липневій змові, Бертольд і Клаус були страчені після провалу.