Berg var samtidens lærdeste kjenner av norsk historie, men kom aldri til å skrive noe samleverk om emnet. I stedet skrev han spredte undersøkelser i forskjellige tidsskrifter, og bidro også til andres arbeider, for eksempel Jens Edvard Krafts . I 1820-årene fungerte han som redaktør for , hvor han offentliggjorde opptegnelser av norske forfattere fra dansketiden. Han var dessuten hovedutgiver av (1833–39). Som historiker mente han at unionstiden hadde vært en nedgangstid for Norge, og la skylden på Danmark. Fra 1537 til 1814 hadde Norge i virkeligheten vært en dansk provins, og litteraturen og skriftspråket var blitt dansk.