Han giftet seg i 1917 med Gerda Fornes, datter av gårdbruker Gunnar Gunnarsen Fornes og hustru Gurina Johnsdatter Lerfald på Fornes i Hegra. Hennes bror Johan Fornes ble også ordfører i Hegra. Hun var grandniese av Hegras første ordfører Olav Torsteinsen Bjørgum, som var gift med hennes farfars søster Anna. Hun var også niese (søsterdatter) av ordfører John Johnsen Lerfald og kusine av stortingsmann og ordfører Jon Leirfall. Ole og Gerda fikk seks barn, men deres eldste sønn, Peder, falt i slaget ved Hegra festning i 1940. Etter at han ble enkemann i 1934, giftet han seg på nytt i 1942 med Gjertrud Hegre.