Od roku 1982 vedl mládežnickou organizaci PSOE ve své domovské provincii León. V roce 1986 se stal nejmladším poslancem ve španělském parlamentu. Roku 1988 se stal předsedou PSOE v provincii León. V roce 1997 nastoupil do předsednictva španělských sociálních demokratů a konečně po volbách v roce 2000 byl zvolen stranickým předsedou. V roce 2004 pod jeho vedením PSOE překvapivě vyhrála parlamentní volby. Bombové útoky na madridské vlaky v březnu 2004 několik dní před volbami poškodily favorizovanou vládnoucí Lidovou stranu (PP), protože mnozí voliči považovali islamistický útok za důsledek účasti Španělska ve válce v Iráku.