Han gikk på Sogn Yrkesskole fra 1968 til 1970. Han jobbet siden i Oslo Sporveier, hvor han også var fagforeningsleder. På slutten av 1980-tallet var han styremedlem i den EU-kritiske organisasjonen Opplysningsutvalget om Norge og EF. I november 1990 ble han valgt til nestleder i Nei til EF. 19. september 1991 publiserte et intervju med ham som sjokkerte deler av organsisasjonen. Han mente det ville være vanskelig for Norge å stå utenfor om Finland og Sverige ble med. Han kritiserte også Senterpartiets argumentasjon: «Ingenting er enklere enn å gjøre som Anne Enger Lahnstein: Reise land og strand rundt og trekke EFs meninger og holdninger etter hårene. Det gir mange stemmer, men kan også representere en naiv overforenkling av EFs politikk.» Flere lokallagsledere mente Kalheim måtte trekke seg som nestleder, men han fikk også støtte fra flere, blant annet SV-politikerne Raymond Johansen, Paul Chaffey og Berge Furre. rapporterte om en «isfront» mellom nestlederen og leder Kristen Nygaard. Etter at Kalheim ble byråd i Oslo trakk han seg som nestleder i oktober 1991.