Od 6. dubna 2002 do 12. července 2004 byl ministerským předsedou Portugalska. Během svého působení ve funkci podnikl některé kroky, které se v Portugalsku setkaly s odporem, jako například podpora invaze do Iráku na jaře 2003, privatizace státních podniků, a velké škrty ve veřejných výdajích. Barroso vinil bývalého předsedu vlády ze špatné hospodářské situace a velkého rozpočtového deficitu a viděl jako nutné dodržovat Pakt stability a růstu. Zasazoval se o zlepšení vztahů mezi EU a USA.