Mit Patent vom 16. Juni 1865 wurde er nach dem Krieg am 30. Oktober 1866 in den Verbund der Preußischen Armee übernommen und als Oberst dem 2. Rheinischen Husaren-Regiment Nr. 9 aggregiert. Kurzzeitig war er vom 6. November bis zum 12. Dezember 1866 zum Stab der 3. Garde-Kavallerie-Brigade kommandiert. Anschließend ernannte man ihn zum Kommandeur des 2. Rheinischen Husaren-Regiments Nr. 9. Unter Stellung à la suite schloss sich am 14. Januar 1868 eine Verwendung als Kommandeur der 11. Kavallerie-Brigade in Breslau an. Bei der Mobilmachung anlässlich des Krieges gegen Frankreich erhielt Baumbach das Kommando über die mobile 5. Kavallerie-Brigade und wurde kurz darauf zum Generalmajor befördert. Seinen Großverband führte er in den Kämpfen bei Beaumont, Sedan, Coulmiers, Beaugency-Travant, Orleans, Le Mans, Allons, Masollen, Artenay, Le Bardon und Vendome sowie bei der Belagerung von Paris. Neben beiden Klassen des Eisernen Kreuzes wurde ihm das Großkomtur des Bayerischen Militärverdienstordens sowie das Mecklenburgische Militärverdienstkreuz verliehen.