Navnet Stauffenberg stammer fra , en tidligere borg i Württemberg. På 1600-tallet arvet de Burg Straßberg, dagens familiegods som ligger i landsbyen Lautlingen i utkanten av Albstadt i Baden-Württemberg. Familien fikk de arvelige adelstitlene friherre i 1698.