Harald Nielsen ble den 27. november 1856 gift med skuespiller Fredrikke Jensen (1837–1912). De fikk etterhvert ti barn, og da de kom til Trondheim holdt de stort og folksomt hus i Prinsens gate 13, (senere i Dronningens gate 27, hvor han også drev sitt fotoatelier). Så lenge hun levde hjalp svigermoren, Anne Rognved, dem som husbestyrerinne. Hun ble assistert av sin tenåringsdatter, svigerinnen Josephine Amalie Rognved, og et par tjenestejenter.