Berg giftet seg i 1957 med den danske filmklipperen Edith Toreg (1921–2003). De fikk datteren Merete Berg Toreg (født 1957), som er grafisk designer og billedkunstner. Dette ekteskapet ble seinere oppløst. Han ble så gift med Aase Marie (Mie) Ingvaldsen (født 1942). De fikk to barn, Lene Berg (født 1965), som også er filmkunstner og Marius Sheamus Berg som er møbeldesigner (født 1968). Dette ekteskapet ble også oppløst. I 1974 giftet han seg med franske Evelyne Zammit (1948–1975).