Da han ble løslatt fra fangenskapet i oktober 1861, var det ingen misjonsbevegelse som ville ta imot en tidligere straffange. Like etter reiste han til Anna Onsum, en gårdsmanndatter fra Fåberg som han hadde brevvekslet med i fengselet, og forlovet seg. De giftet seg i 1865.