Halvorsen ble miljøvernminister i Trygve Brattelis regjering i 1973, før han året etter ble sosialminister. Han gikk ut av regjeringen i 1976. I 1977 ble Halvorsen valgt til LO-leder, et verv han innehadde fram til sin død.