В Заграничных походах Баумгартен сражался под Люценом, где был ранен осколком гранаты в щиколотку правой ноги, за что 15 сентября 1813 года получил золотую шпагу с надписью «За храбрость» (по другим данным он эту награду получил в 1814 году за отличие при Ла-Брюсселе), прикрывал со своим полком отход русско-прусских войск к Дрездену. 26 апреля 1813 года при защите переправы через Эльбу ранен пулей в правую руку с повреждением кости и уехал в Берлин на лечение. По возвращении в ноябре 1813 года Баумгартен участвовал в осаде и взятии Кельна, а после занятия его 1 января 1814 года, участвовал в осаде Страсбурга и находился в сражениях с французами под Ножаном, Труа и Бар-сюр-Обом. Отличился при занятии городка Ла-Брюссель, где возглавил штыковую атаку на городские укрепления.