Berg hade flera viktiga diplomatiska uppdrag 1846–1849 bland annat i Wien och Berlin, samt blev 1849 österrikisk greve och inträdde i rikskonseljen. År 1854 utnämndes han till generalguvernör i Estland, och utsågs 1855 till samma post i Finland under de politiskt oroliga åren. Berg residerade i Helsingfors i stället för i Sankt Petersburg som hans företrädare. Hans inblandning även i mindre regeringsfrågor väckte motstånd i storfurstendömets politiska maktelit vilken på grund av frånvaron av en aktiv generalguvernör vant sig vid en viss självständighet inom förvaltningen. Berg genomförde en del reformer inom näringslivet, och tog försiktiga steg för att befordra det finska språkets likställighet med det svenska språket. Eftersom von Berg bekämpade skandinavismen och upprätthöll en sträng censur, blev denne i synnerhet högeligen impopulär bland studenterna vid Kejserliga Alexanders-universitetet. Under hans ämbetstid utnämndes också Johan Vilhelm Snellman till professor 1856 och 1850 års språkförordning avskaffades 1860. Konflikten med ministerstatssekreteraren Alexander Armfelt fördjupades och frågan om januariutskottets tillsättande blev slutligen den sista droppen. Berg begärde och beviljades avsked slutligen i november 1861. År 1863 utnämndes han till ståthållare och överbefälhavare i Polen där han nedslog det polska upproret 1863. Han kvarstod på sin ämbetspost som ståthållare, därvid fram till sin död 1874.