I det livlige selskapslivet i Risør traff han Anne Marie Simonsen, som var datter til en rik skipsreder i byen. De giftet seg i 1800 og flyttet til Finnøy i Rogaland, hvor mannen hadde fått sitt eget embete som sogneprest. Der ble han godt mottatt og etablerte seg raskt som en respektert og fremtredende mann i samfunnslivet. Ekteparet Abel fikk to sønner, Hans Mathias og Niels Henrik, mens de bodde på Finnøy. Niels Henrik ble sannsynligvis født i nabosoknet Nedstrand mens foreldrene var på besøk hos sorenskriveren. Da hans far døde i 1804, flyttet familien til Gjerstad hvor Søren Abel fortsatte som sogneprest etter sin far. Niels Henrik var da to år gammel.