Herlofson var sønn av skipsreder Oscar Herlofson (1844–1892) og Thora Smith (f. 1855). Giftet seg i 1901 med Sigrid Dedekam (1873–1934), datter av Anders E. Dedekam (f. 1845) og Anna Oline Hansen (f. 1853). Fikk fire barn: Oscar Herlofson, Hans Herlofson, Tore Herlofson, og Helene Agnethe Herlofson. Giftet seg senere med Sophie Herlofsen (1887–1967).