Harmel var dr.jur. og kandidat i samfunnsvitenskap fra Université de Liège. Han ble medlem av Belgias parlament i 1946 og satt der frem til 1971. I 1958 og i 1960 var han landets justis- og kulturminister, og etter sin tid som statsminister ble han utenriksminister i Paul Vanden Boeynants' liberale regjering. Ved sin død den 15. desember 2009 var Harmel en av Europas eldste tidligere stats- eller regjeringssjefer.