În august 2003 Mariano Rajoy a fost numit secretar general de către Aznar. Astfel, Rajoy a devenit candidatul partidului pentru funcția de prim-ministru la alegerile generale din 2004, organizate la trei zile după Atentatele din 11 martie 2004 de la Madrid, unde Rajoy a pierdut alegerile în detrimentul lui José Luis Rodríguez Zapatero de la Partidul Socialist Muncitoresc Spaniol (PSOE).