Han stiftet Arendal Privatbank i 1874 sammen med Thomas Heftye og Anders D. Geelmuyden, hvor han selv var en av tre direktører og den reelle sjefen for banken. Herlofsen er mest kjent fordi han utløste det såkalte Arendalskrakket i 1886, da han underslo 900 000 kroner i banken. Herlofson hadde i flere år forfalsket regnskaper for å dekke over at han egentlig var insolvent, og holdt virksomheten flytende gjennom å ta opp stadig nye lån i en operasjon med likheter til en Ponzi-svindel. Etter å ha blitt avslørt forsøkte han å flykte utenlands, men ble pågrepet på kaien i Kristiansand og dømt til seks års straffarbeid. Han sonet straffen som såkalt «festningsslave» på Akershus festning, det strengeste fengselet i datidens Norge.