Bergo er gift med Eva Eek. Sammen har de to barn og tre barnebarn, og barna Kjetil og Kjersti bor i Bergen. Bergo har gjort erfaringer med barnevernet i nære relasjoner, og som pensjonist samarbeider han med juristen Gro Hillestad Thune. 90 % av sin fritid bruker han på å arbeide med barns rettssikkerhet. Han har kjøpt den 150 år gamle slektsgården på Nesbyen, der han bodde sitt første leveår, men har fått utsatt boplikt.