Tilbake i Norge gjenopptok han skolegangen og tok examen artium 1840. Så begynte han å studere teologi, men avbrøt etter et ca. ett år, og reiste til Lillehammer, der han ga privatundervisning og etter hvert startet en privatskole. En av de første elevene var Josefine Buch (1820–62), guvernante hos sognepresten i Fåberg, som tok privattimer i fransk. De ble kjærester, og giftet seg 11. august 1841. Paret drev privatskole sammen på Lillehammer fram til sommeren 1846, og de tre første barna ble født der. Til sammen fikk paret sju barn, fire jenter og tre gutter, men to av guttene døde som små barn.