Er war ein Sohn des Babstadter Grundherrn Hermann von Gemmingen (1820–1891) und der Pauline Maximiliane Philippine von Ellrichshausen (1825–1865) und besuchte die Gymnasien in Heilbronn und Eßlingen am Neckar. 1869 trat er als Offiziersaspirant in das 7. Infanterie-Regiment der Württembergischen Armee in Stuttgart ein, wechselte im selben Jahr als Fähnrich zum 8. Infanterie-Regiment und besuchte die Kriegsschule in Ludwigsburg. 1870 wurde er Leutnant im 5. Infanterie-Regiment, mit dem er 1870/71 im Krieg gegen Frankreich an den Kämpfen bei Wörth, Sedan, Champigny, Bontancourt und Villiers teilnahm. Für seinen Einsatz in einer der Schlachten bei Champigny wurde er mit dem Ritterkreuz des Militärverdienstordens ausgezeichnet. Damit verbunden war eine jährliche Präbende. Später erhielt er noch das Eiserne Kreuz sowie den russischen Sankt-Stanislaus-Orden III. Klasse. 1874 wurde er Premierleutnant und kam 1879 zum Grenadier-Regiment „Königin Olga“ (1. Württembergisches) Nr. 119 nach Stuttgart. 1882 war er Hauptmann und Kompaniechef im 4. Infanterie-Regiment Nr. 122 in Heilbronn, 1892 Major und Bataillonskommandeur im Grenadier-Regiment Königin Olga in Stuttgart.