Er war der Sohn des österreichischen Offiziers Eberhard von Gemmingen-Hornberg (1688–1767), der im spanischen Erbfolgekrieg kämpfte. Er wurde erst bei seinen Eltern, dann in Heilbronn bei seinem Onkel erzogen, wo er auch die Schule besuchte. Mit 14 Jahren trat er als Fähnrich in das arembergische Infanterieregiment ein. 1734 war er württembergischer Grenadier-Hauptmann, 1737 gehörte er zu dem württembergischen Truppenkontingent, das in preußische Dienste wechselte. Er war in der Zitadelle Wesel, in Berlin und Magdeburg in Garnison und kämpfte ab 1740 in den Schlesischen Kriegen. Unter anderem nahm er 1745 an der Schlacht bei Kesselsdorf teil, wo er verwundet wurde. 1747 zog er als Obristwachtmeister und Kommandeur eines Grenadierbataillons – zusammengesetzt aus den Grenadierkompanien der Regiment Nr. 44 (Jungken) und Nr. 41 (Neuwied) – nach Böhmen. Er wurde in der Schlacht bei Lobositz verwundet, kämpfte später bei Prag und Kolin und wurde zum Obristleutnant befördert. 1752 erbte er den Rappenauer Besitz seines entfernten Vetters Karl Ludwig von Gemmingen (1700–1752). 1757 starb er nach der Schlacht bei Kolin beim Rückzug aus Böhmen an der Ruhr und wurde in Böhmisch-Leipa beigesetzt.