Bergum giftet seg i 1963 med Anne Lise Bergum (født Hermansen) fra Kristiansand. De fikk fire sønner, hvorav den yngste omkom i bilulykke i 1995, 21 år gammel.