Kalheim deltok i motstandsarbeid under andre verdenskrig, og gikk som ung inn i Norges Kommunistiske Ungdomsforbund. Han ble ekskludert av NKU som Furubotn-tilhenger i 1949. Samme år begynte han som tømmermann ved Akers mekaniske verksted i Oslo. Han fikk snart tillitsverv i fagorganisasjonen, i Norsk Jern- og Metallarbeiderforbund (LO). Fra 1957 satt han i forbundsstyret, og i 1973 ble han vagt til leder for Avdeling 1 av Jern og Metall, den største fagforeninga i Norge på den tiden.