Boge Berg er sønn av Eva Øien og maleren Ole Berg, og er født og oppvokst på Holmen og Sinsen i Oslo. Han var gift med kunstner Gabrielle Kielland fra 1967 til 1979. I 1994 giftet han seg med Lisa Cole Berg. Fra første ekteskap har han to sønner; kunstner og grafiker Nikolai Berg (født 1969), og animatør og produsent Aleksander Gabriel Berg (født 1974).