Han giftet seg i 1931 med Alfhild Bruheim. De bodde på Binde og fikk seks barn. Anna Molberg, stortingsrepresentant for Hedmark, er et av Olav og Alfhilds barnebarn.