Ernst von Baumbach trat in die Württembergische Armee ein und nahm als Premier-Leutnant im Infanterie-Regiment Nr. 1 "Prinz Paul" an Napoleons Russlandfeldzug 1812 teil. 1816 wurde Hauptmann von Baumbach an Stelle des Hauptmanns von Faustigny zum württembergischen Geschäftsträger im Hauptquartier des Herzogs von Wellington ernannt. 1819 verlieh ihm Wellington den Bathorden. Baumbach war von 1818 bis 1835 württembergischer Militärbevollmächtigter bei der deutschen Bundesversammlung. Später wurde er zum Gouverneur von Stuttgart ernannt.