Berg ble ikke politisk aktiv før i 1950-årene. Han ble leder at Melhus Bondeparti (som Senterpartiet het den gang) i 1953 og i 1955 ble han innvalgt i kommunestyre. På det første kommunestyret ble han valgt til ordfører, et verv han skulle ha i 16 år; Først åtte år i gamle Melhus kommune og deretter i den nye Melhus storkommune (1964–1971). Som ordfører ble han også automatisk medlem av Sør-Trøndelag fylkesting (1956–1971), der han var med i fylkesutvalget i 12 år og fylkesskolestyret i åtte år (hvorav fire år som formann). I fire år ledet han også den fellesborgerlige gruppa på fylkestinget.