Er war ein Sohn des sachsen-meiningischen Land-Oberjägermeisters Karl Weiprecht Reinhard von Gemmingen (1797–1882) aus dessen erster Ehe mit Emma von Uttenhofen (1804–1846). Nachdem 1846 sein Onkel Eduard Friedrich Ludwig und seine Mutter verstorben waren und sich der Vater 1847 wiederverheiratet hatte, gaben die revolutionären Ereignisse des Jahres 1848 dem Vater den Anlass, den sachsen-meiningenschen Dienst zu quittieren und 1849 auf das zuvor von seinem verstorbenen Bruder bewirtschaftete Gut nach Bonfeld zu ziehen. Dort wurden Otto und vier Geschwister außer durch einen Hofmeister auch durch die Absolventen eines zeitweilig bestehenden Lehrerseminars unterrichtet. 1852 zog die Familie nach Karlsruhe, wo die Söhne ihre Ausbildung vollenden konnten. Otto besuchte dort das Gymnasium und das Polytechnikum und studierte anschließend Mathematik. Er trat mit 18 Jahren in österreichische Militärdienste. 1856 war er Kadett im 1. Ulanenregiment des Grafen Civalart in Mähren. Er nahm am italienischen Feldzug 1859 teil und kämpfte bei Orlegno, Turbigo, Magenta und Solferino. Nach den Schlachten von Bysokow, Skalitz und Königgrätz erhielt er als Generalstabsoffizier das Militärverdienstkreuz. Nach dem Centralkavalleriekurs 1871/72 wurde er als Reitoffizier Instruktor von Kronprinz Rudolf von Österreich. Als Major wurde er 1875 zum Flügeladjutanten von Kaiser Franz Joseph befördert. Als Oberst des 1. Ulanenregiments leitete er das Wiener Militär-Reitlehrer-Institut. 1887 wurde er zum Generalmajor, 1891 zum Feldmarschall-Leutnant befördert. Er starb 1892 an einer Lungenentzündung und wurde unter höchsten Ehren in Wien beigesetzt.