Budberg trat 1735 in die Russische Armee ein, nahm aber 1740 als Fähnrich seinen Abschied und ging in preußische Dienste. So befand er sich 1740 gleich in der Schlacht bei Mollwitz. 1741 wurde er Fähnrich im „Regiment Rampusch zu Fuß“ und im Jahr darauf Sekondelieutenant. Am 17. September 1743 wurde er als Premierlieutenant in das Grenadierbataillon „Ingersleben“ versetzt. Dort wurde er 1753 Stabskapitän und am 30. Januar 1756 erhielt er seine eigene Kompanie. Während des Siebenjährigen Krieges kämpfte Budberg 1757 bei der Belagerung von Prag und 1758 in den Schlachten bei Breslau, Leuthen und Hochkirch sowie der Belagerung von Olmütz. 1760 geriet er bei Glatz in Gefangenschaft, wurde 1761 aber wieder befreit und kam zum Grenadierregiment „Dürringshofen“. Das Regiment wurde aus jeweils zwei Grenadierkompanien der Regimenter „Hülsen zu Fuß“ und „Kleist zu Fuß“ gebildet. Budberg erreichte jedoch, dass er seine alte Kompanie behalten durfte. Am 25. Dezember 1761 wurde er zum Major befördert. Im Jahr 1763 wurde er in das „Regiment Grant zu Fuß“ versetzt. Dort wurde er Oberstleutnant sowie am 2. Juni 1773 Oberst und Regimentskommandeur. 1782 erhielt er das ehemalige „Regiment Wolffersdorf zu Fuß“ und am 24. Mai 1782 die Beförderung zum Generalmajor. 1789 wurde er zum Generalleutnant befördert und drei Jahre später pensioniert.