Von Baumbach trat in die Verwaltung der Landgrafschaft Hessen-Kassel ein und war von 1776 bis 1786 Landrat des Kurhessischen Stromsbezirks des Fuldastroms und später Landrat in Hanau. Er wurde mit dem Titel eines Geheimen Regierungsrates ausgezeichnet und Vizepräsident, später Präsident der Regierung in Kassel. Er wurde auch mehrfach vom Kurfürsten in diplomatischer Mission eingesetzt. So war er vom 14. März bis zum 11. April 1790 Hessen-Kasselischer Gesandter in besonderer Mission (Investitut des Kurfürsten) in Mainz und vom 21. Juni bis zum 19. Juli 1792 Hessen-Kasselischer Gesandter beim Heiligen Römischen Reich Deutscher Nation (Wahlkonvent). 1802 wurde er Kurhessischer Staats- und Finanzminister. Nach dem Dritten Koalitionskrieg lavierte die Landgrafschaft Hessen-Kassel zwischen Frankreich und dem Reich. Von Baumbach riet eher zu einem Anschluss an Frankreich ("ehender als an Preußen"). Hessen-Kassel trat 1806 dem Rheinbund nicht bei und teilmobilisierte zu Beginn des preußisch-französischen Kriegs 1806 seine Armee, um die Neutralität zu sichern. Daraufhin besetzte Napoleon Kurhessen. Am 1. November 1806 marschierte französisches Militär in Kassel ein. Von Baumbach verhandelte um einen Kredit von drei Millionen Talern und ließ diese den Franzosen als Kontribution aushändigen, um Brandschatzungen zu vermeiden.