Han ble født i Oslo som sønn av Charles Herlofson og Ellinor Boe. Han seilte først noen år i handelsflåten og tok deretter sjømilitær utdannelse. I 1939 ble han sjøoffiser. Under andre verdenskrig deltok han først i kampene mot invasjonsstyrkene. Han tok seg i desember 1940 over til Storbritannia og sluttet seg til de norske styrkene der. Herlofson tjenestegjorde ved den norske MTB-avdelingen i Storbritannia og gjennomførte tokt over Nordsjøen til kysten av det okkuperte Norge.