Etter studier ved flere svenske universiteter har han virket som forfatter siden midten av 1970-tallet. Berg har utgitt et 30-talls bøker, mest poesi og mange i samarbeid med forskjellige billedkunstnere. På 1970- og 80-tallet var han en av redaktørene for tidsskriftet og forlaget Rallarros. Han driver sammen med Gun-Britt Karlsson, Heidruns Bok- & Bildcafé, og forlaget med samme navn, et foretak som startet i Fensbol i Torsby kommun i 1990.