Han var sønn av Televerkets distriktssjef Peder Marius Berrefjord (1890–1977) og Astrid Tharis (1892–1978). Han giftet seg i 1942 med Else Margrethe Nordby (1918–1999).