21 сентября 1803 года был переведён штабс-капитаном в Севский мушкетерский полк. 3 мая 1806 года был произведён в майоры Пермского мушкетерского полка. В 1806—1807 годах Баумгартен участвовал в кампании против французов в Восточной Пруссии. В сражении при Прейсиш-Эйслау ранен пулей навылет в голень правой ноги, за это дело он был награждён прусским орденом Pour le Mérite.