I 1870 ble han gift med enken Anna (eller Anne) Marie f. Bøyesen (Ording; 1832–1881), som han kjente siden barndommen og som var datter av Knud Ibsens gamle venn Jacob Andreas Bøyesen; hun var født på Erlands Venstøp, og de «ble i voksen alder kjent på nytt da de begge ble en del av dissentermenighetens krets av borgerbarn fra mer eller mindre fallerte familier» skriver Haave. Hun var da enke etter skipper og skipsreder i Brevik Eilert C. Knutzen (1813–1866). Hun hadde blitt med i dissentermenigheten i 1862, to år før Ole.