Nils Hertzberg var sønn av prost og sogneprest til Finnås, Peder Harboe Hertzberg (1728–1802), og Christiane Winding (1737–1801). Han var den eldste av 15 søsken. Hans yngre bror Christian Hertzberg (1767–1830) etterfulgte faren som sogneprest i Finnås. Han var gift to ganger, første gang 1786 med Marie Elisabeth Weinwich (1759–1818), andre gang 1823 med Anna Christine Egede Thomsen (1789–1860). Han var far til statsråd Nils Hertzberg (1827–1911) og offiseren Johan Nicolay Hertzberg (1832–1921).