Zu Beginn des Zweiten Weltkriegs flog Baumbach Einsätze mit dem Kampfgeschwader 30 beim Überfall auf Polen. Danach wurde er über der Nordsee und über Norwegen eingesetzt. Nach Einsätzen während der Schlacht um Narvik wurde er mit dem Narvikschild ausgezeichnet. Am 19. April 1940 gelang ihm vor Namsos ein Bombenvolltreffer auf dem französischen Leichten Kreuzer "Émile Bertin", der daraufhin zu Reparaturen nach Frankreich zurückkehren musste. Dafür wurde ihm das Eiserne Kreuz I. Klasse verliehen. Am 8. Mai 1940 wurde ihm zusätzlich das Ritterkreuz des Eisernen Kreuzes verliehen, da man fälschlicherweise davon ausging, dass der Kreuzer versenkt worden sei.