Ved siden av prestegjerningen var Bang forfatter. Han var den første som skrev en beskrivelse av Christiania, i (1651). Tross tittelen er imidlertid verket mer et oppbyggelsesskrift enn en egentlig topografisk beskrivelse. Han skrev også en i åtte bind, nesten 9000 sider. For å få verkene sine trykt, sørget han for opprettelsen av det første boktrykkeriet i Norge. På hans oppfordring kom Tyge Nielssøn fra København til Christiania i 1643 for å opprette et boktrykkeri. Foretagende varte bare ett år, men Berg sørget i 1646 for at det ble opprettet en filial i Christiania av Melchior Marzans boktrykkeri i København. I alt skal han ha brukt over 7000 spesiedaler på trykningen av bøkene sine.