Ola hadde tre barn utenom ekteskap før han giftet seg, det første kom i 1704, med Birgit Aslesdotter Gjivsjord. I 1714 fikk han en sønn med Ragnhild Villand, som han ble gift med, og samme året fikk han et barn med Kari Olsdotter Mehus. For de utenomekteskapelige barna sine måtte Ola bøte til lensmannen i Ål flere ganger, og lensmannen var stadig etter ham med søksmål. I 1707 ble han etterlyst fordi han ikke hadde gjort opp for moren til barnet, Birgit Aslesdotter. Hun satt på vann og brød på samme tid for å ha født "i dølgsmål".