Beim Ulanen-Regiment „König Wilhelm I.“ (2. Württembergisches) Nr. 20 in Ludwigsburg trat Stauffenberg in die Württembergische Armee ein, wurde 1883 Leutnant und 1897 Rittmeister. Am 30. Mai 1904 heiratete er Karoline Gräfin von Üxküll-Gyllenband (1875–1956). Das Paar bekam zweimal Zwillinge, 1905 Berthold und Alexander sowie 1907 Claus und Konrad Maria. Letzterer starb allerdings nach wenigen Stunden. Berthold und Claus wurden 1944 als Beteiligte am Widerstand gegen Hitler hingerichtet.