Формально начал службу в лейб-гвардии Семёновском полку, куда был записан, по обычаю того времени, в 11-летнем возрасте. В 1795 году поступил адъютантом к генералу Ласси, а два года спустя был переведён в Рижский драгунский полк, где в 1801 году дослужился до подполковника; в 1799 году участвовал в итальянско-швейцарском походе Суворова, а затем в кампании 1806—1807 гг. — в сражении при Прейсиш-Эйлау Будберг был ранен и за отличие награждён орденом Св. Владимира 4-й степени с бантом, а за мужество, проявленное в сражениях при Гутштадте, Гейльсберге и Фридланде — золотой шпагой.