Pada bulan Agustus 2003, Mariano Rajoy ditunjuk oleh Aznar menjadi Sekretaris Jenderal. Dengan demikian, Rajoy menjadi kandidat Perdana Menteri dari partai pada pemilihan umum 2004, yang diselenggarakan tiga hari setelah Pengeboman di Madrid 11 Maret 2004, dan Rajoy kalah dengan selisih besar oleh Partai Buruh Sosialis Spanyol (PSOE) yang dipimpin José Luis Rodríguez Zapatero.