Ole var gift to ganger. Først med enka Johanne Jensdatter (1794-183?) fra Norderhov, deretter fra 1835 med Ragnild Olsdatter (1810-?) fra Drøbak, som han fikk tre barn med: Anne Josefine, Hugoine og Adolf.