W 2003 José María Aznar zadeklarował, że nie będzie ubiegał się o ponowny wybór na premiera w wyborach przewidzianych na 2004. Mariano Rajoy był jednym z faworytów do przejęcia przywództwa w partii, konkurowali z nim Jaime Mayor Oreja i Rodrigo Rato. We wrześniu 2003, po ostatecznym potwierdzeniu rezygnacji przez premiera (pozostającego nadal formalnym przewodniczącym partii), Partia Ludowa wybrała Mariano Rajoya na swojego lidera w kampanii wyborczej. Polityk ustąpił wówczas z funkcji rządowych, obejmując jednocześnie stanowisko sekretarza generalnego swojego ugrupowania. Partia Ludowa przegrała jednak w wyborach w 2004. Za główną przyczynę uznano zamachy terrorystyczne w Madrycie, które miały miejsce na trzy dni przed głosowaniem. Ugrupowanie przeszło wówczas do opozycji wobec gabinetu Hiszpańskiej Socjalistycznej Partii Robotniczej. Mariano Rajoy w październiku tegoż roku wystartował na przewodniczącego Partii Ludowej, uzyskując poparcie na poziomie 98%. Poprowadził swoją formację do kolejnych wyborów w 2008. Ludowcy odnotowali lepszy wynik, jednak ponownie przegrali z PSOE. Lider PP utrzymał jednak przywództwo w partii – na kongresie w czerwcu 2008 poparło go 84% delegatów.