Herlofsen har militær bakgrunn med flere ulike stillinger. Han var ansvarlig for den psykologiske oppfølgingen av soldatene i Forsvarets spesialkommando, sammen med Jon Reichelt ved Kontor for Psykiatri ved Forsvarets overkommando. I tillegg var han lege ved Nasjonal Militærmedisinsk Poliklinikk. Fra 2000 ble han ansatt som leder for Oslo militære legekontor, og ble avsatt fra denne stillingen i 2007.