Nach dem Besuch des Lyzeums in Karlsruhe absolvierte er die Kriegsschule und die Artillerieschule für Offiziere. Am 1. Oktober 1842 trat er als Avantageur in die Artilleriebrigade der Badischen Armee ein. 1846 wurde er Leutnant und nahm 1848/49 an der Niederschlagung der Badischen Revolution teil. 1852 stieg Gemmingen zum Oberleutnant und wurde im Jahr darauf Brigadeadjutant. Mitte Mai 1859 folgte seine Beförderung zum Hauptmann und die Ernennung zum Batteriechef. 1866 beteiligte er sich als Führer der reitenden Batterie am Krieg gegen Preußen, ohne jedoch ins Gefecht zu kommen. 1867 kam er als Major zum Dragoner-Regiment „Prinz Karl“. Damit verbunden war seine Verwendung als Ordonnanzoffizier des Großherzogs von Baden. Am 22. November 1868 wurde Gemmingen in den Generalstab versetzt und im Mai 1869 zum Oberstleutnant befördert. Im Juli 1869 wurde er zum Regimentskommandeur ernannt. In dieser Stellung nahm er während des Krieges gegen Frankreich an den Belagerungen von Straßburg und Belfort sowie der Schlacht bei Wörth teil.