Han ble enstemmig valgt til partileder for Sjálfstæðisflokkurinn i oktober 2005, etter at Davíð Oddsson trakk seg. Haarde hadde da vært nestleder i partiet siden 1998.