Hallgrim Berg er sønn av kjøpmann Bernhard Berg (1907–1989) og Oline Langeland (1911–1992). Stortingsmann Trond Helleland er hans nevø (søstersønn). Hallgrim Berg er gift med Maria Høgetveit Berg, som er tidligere lærer, kultursjef i Ål kommune og leder i Noregs Mållag. De er foreldre til høyesterettsdommer Borgar Høgetveit Berg og professor i historie Sigrun Høgetveit Berg.