Han var sønn av tollbetjent Lorentz Lassen Hiorth og hustru Anette Hansine Marie Hansen. Også morfaren Christian Hansen var tollbetjent i Trondhjem. Han giftet seg i 1880 med Sally Elvine Larsen, datter av overtollbetjent Halvor Larsen i Moss.