Gemmingen besuchte von 1859 bis 1863 das Gymnasium in Darmstadt und trat anschließend am 16. Dezember 1862 als Reiter in die Leibeskadron des 2. Reiterregiments der Großherzoglich-Hessischen Armee ein. Nachdem er am 21. Juli 1864 die Offiziersprüfung bestanden hatte, wurde er kurz darauf zum Portepeekorporal ernannt sowie am 31. August 1864 zum Leutnant befördert. Gleichzeitig versetzte man ihn in das 1. Reiterregiment. Mit dem Regiment nahm Gemmingen am Feldzug 1866 gegen Preußen an den Gefechten bei Aschaffenburg, Treufurth und Gerchsheim teil. Für seine Leistungen wurde er am 18. September 1866 mit dem Ritterkreuz II. Klasse des Ordens Philipps des Großmütigen ausgezeichnet. Gemmingen wurde dann am 2. Juli 1868 als Oberleutnant Adjutant der Reiterbrigade. Von dort folgte von Mai 1870 eine Kommandierung zum Großen Generalstab nach Berlin. Mit der Mobilmachung zum Deutsch-Französischen Krieg kehrte er zu seiner Reiterbrigade zurück und nahm an den Schlachten bei Vionville, Gravelotte, Noisseville, Beaune-la-Rolande, den Gefechten bei la Ferté Aubin und Montbarrois sowie der Belagerung von Metz teil. Ausgezeichnet mit dem Eisernen Kreuz II. Klasse wurde Gemmingen nach Kriegsende wieder in den Großen Generalstab kommandiert.