Berg var innenriksminister i tre perioder; først i Regjeringen J.C. Christensen I fra 14. januar 1905 til 24. juli 1908 og deretter i Regjeringen J.C. Christensen II fra 24. juli 1908 til 12. oktober 1908. Regjeringen måtte gå av som følge av «Alberti-saken», hvor tidligere justisminister Peter Adler Alberti var anklaget og senere ble dømt for dokumentfalsk og bedrageri. I kjølvannet av dette, ble det reist sak for Rigsretten mot Berg for dårlig tilsyn med Den Sjællandske Bondestands Sparekasse og han ble idømt en bot på 1 000 kroner.