Nach der Ankündigung José María Aznars, im Wahlkampf 2004 nicht mehr für das Amt des Ministerpräsidenten ("Presidente del Gobierno") kandidieren zu wollen, wurde Rajoy von Aznar überraschend zum Spitzenkandidaten des PP bestimmt und war bei den spanischen Parlamentswahlen am 14. März 2004 PP-Kandidat für das Amt des spanischen Regierungschefs. Trotz des Skandals um den Untergang der Prestige und der uneingeschränkten Unterstützung der US-amerikanischen Politik im Irakkrieg, für die die "Partido Popular" viel Kritik erntete, waren Rajoys Umfragewerte sehr gut. Erst infolge der heftig kritisierten irreführenden Informationspolitik der konservativen Regierung nach den Terroranschlägen auf mehrere Züge in Madrid unmittelbar vor dem Wahltag kippte die Stimmung: Die spanischen Sozialisten (PSOE) gingen überraschend als Sieger aus diesen Wahlen hervor. Rajoy wurde Oppositionsführer.