Hartvig Nissen var sønn av sogneprest Peder Schjelderup Nissen og Bolette Margrethe Musæus. Han tilhørte en familie av dansk opprinnelse, Nissen fra Fredericia; oldefaren Niels Hansen Nissen flyttet fra fødebyen Fredericia i Danmark til Trondheim i Norge, der han ble en velstående kjøpmann. Navnet Nissen er et patronym som betyr «sønn av Nis»; Nis er en variant av Niels som brukes i den sydlige delen av Jylland. Kartografen Per Schjelderup Nissen (1844–1930) og arkitekt Henrik Nissen (1848–1915) var hans sønner.