I sin samtid ble Stauffenberg beskrevet som en mann med ekstraordinær intelligens og dannelse, stor diplomatisk begavelse og rettferdighetssans, men også utpreget prinsippfasthet. Han tilhørte den schwabiske uradelsslekten Schenk von Stauffenberg.