Far til Niels Henrik var Søren Georg Abel, utdannet til prest, og stammet fra en familie som opprinnelig kom fra Schleswig-Holstein. Han hadde vokst opp på Gjerstad nord for Risør hvor hans far var sogneprest. Med en utadvendt personlighet, og positiv innstilling til det moderne, forkynte han troen på menneskets evne til å løse alle livets gåter ved hjelp av fornuften.