Berg fikk kallenavnet «Dutte» siden han var liten og spe som barn. Han er eldst i fotballfamilien Berg fra Bodø, bror av Knut Berg, og far til Ørjan Berg, Runar Berg og Arild Berg – alle fire med erfaring fra toppserien. I tillegg er han far til musikeren Terje Berg og tidligere Grand-spiller Eli Johanne Berg, bestefar til fotballspillerne Patrick Berg og .