Han giftet seg i 1860 med Anna Pedersdatter Fornes fra Hegra. De var sterkt engasjert i kristelig arbeid, som ledere i misjonslag. Han reiste også et bedehus for egne midler. Blant Olav og Annas åtte barn var døtrene Aasta og Sigrid Bjørgum, som reiste til Kina som misjonærer. Olav og Anna var grandonkel og grandtante på farssiden til Hegras senere ordfører Johan Fornes.