Harlem kom fra en borgerfamilie. Han tok artium i 1935 og ble cand.med. i 1946. I sin medisinske yrkeskarriere arbeidet han med samfunnsmedisin knyttet til Hygienisk institutt ved Universitetet i Oslo og Attføringsinstituttet. Han var direktør ved Attføringsinstituttet fra 1970. I 1977 ble han professor i arbeidslivsvitenskap ved Norges tekniske høgskole, og fra 1980 til 1985 var han administrerende direktør ved Norges forskningsråd.