I 1987 ble Haarde valgt inn i Alltinget fra Reykjavík. Han var leder for Sjálfstæðisflokkurinns alltingsgruppe fra 1991 til 1998 og formann i Alltingets utenrikskomité fra 1995 til 1998. Haarde var finansminister fra april 1998 til september 2005, deretter utenriksminister frem til juni 2006.