W 2003 José María Aznar zadeklarował, że nie będzie ubiegał się o ponowny wybór na premiera w wyborach przewidzianych na 2004. Po ostatecznym potwierdzeniu rezygnacji Partia Ludowa wybrała Mariano Rajoya na swojego lidera w kampanii wyborczej. Ludowcy przegrali jednak w wyborach w 2004, a za główną przyczynę porażki uznano zamachy terrorystyczne w Madrycie, które miały miejsce na trzy dni przed głosowaniem. Rząd od początku jako najważniejszych podejrzanych wskazywał terrorystów z ETA, podczas gdy zamachu dokonali islamiści z Al-Ka’idy. Nowym premierem po wyborczej porażce ludowców został socjalista José Luis Rodríguez Zapatero. José María Aznar ustąpił również z kierowania partią, już po wyborach w 2004 zastąpił go na tej funkcji Mariano Rajoy.