Han var sønn av Thore Thoresen (1789–1850) og Ida Christine Møller (1789–1867). Faren var klokkersønn fra Kviteseid som hadde gått på Blågård seminar, et treårig lærerseminar som holdt til utenfor København, etter initiativ fra sogneprest i Kviteseid Niels Windfeldt, som også bekostet hele utdannelsen og oppholdet. Nils ble dermed oppkalt etter farens velgjører, men de var ikke i slekt. Faren arbeidet i noen år som lærer i prestegjeldet og ble i 1819 første lærer ved Kviteseid skolelærerseminar på Kosi i Brunkeberg i Kviteseid; han tok senere teologisk embetseksamen i Christiania og ble senere sogneprest i Hjartdal og Borge.