Slektsnavnet Stauffenberg viser til en tidligere borg i Württemberg. Den katolske fyrstbiskopen Johann Franz Schenk von Stauffenberg var fra samme familie.