Jabarkan Pemimpin Oposisi: 2004–2011 dari Mariano Rajoy

Tiga hari sebelum Pemilu 2004, serangan teroris terjadi di Madrid pada tanggal 11 Maret. Semula tuduhan diarahkan pada ETA, tetapi kemudian pada Al-Qaeda. Pemerintah Aznar dan pemimpin Partai bersikeras menuduh organisasi separatis bersenjata Basque ETA yang melakukan serangan. Pada tanggal 13 Maret, Rajoy mengaku keyakinan tersebut karena kemampuan mereka untuk melakukan kejahatan. Pemerintah dituduh mencoba untuk menyalahkan ETA atas serangan agar tetap memenangkan pemilu (karena mereka sangat disukai untuk dilakukan), tetapi kemudian tersiar kabar bahwa itu adalah tindakan Al-Qaeda, bukan ETA.

Pada 14 Maret 2004 PSOE, di bawah kepemimpinan José Luis Rodríguez Zapatero yang memenangkan pemilu dengan suara mayoritas 1.300.000 atas PP dan memperoleh 164 deputi (wakil), sementara PP memperoleh 9.763.144 suara dengan 148 deputi, berkurang 35 wakil dari yang diperoleh pada tahun 2000. Rajoy terpilih untuk provinsi Madrid.

Pada tanggal 1 Desember 2005, Rajoy selamat dari kecelakaan helikopter, bersama dengan Presiden Pemerintah Daerah Madrid Esperanza Aguirre. dia menderita patah pada jari dalam kecelakaan itu.

Rajoy menghadapi situasi yang serius dalam partai setelah menerima tekanan publik dari elektoral sukses Alberto Ruiz Gallardón (Wali kota Madrid) agar dimasukkan dalam daftar PP pada pemilihan umum Maret 2008. Gallardón merupakan sektor yang lebih moderat dalam partai, sedangkan Rajoy, Angel Acebes, dan Eduardo Zaplana secara luas diterima  mewakili sayap yang lebih konservatif partai, lebih dekat untuk Aznar. Keputusan akhir Rajoy adalah meninggalkan Gallardón keluar dari daftar dalam pemilu mereka, suatu tindakan yang memicu kekhawatiran tentang keterasingan pemilih potensial PP. Beberapa ahli dan surat kabar bahkan berpendapat bahwa hal itu sebagai biaya pemilu Rajoy. Dalam kasus apapun, perebutan kekuasaan untuk suksesi menciptakan situasi menegangkan bagi dirinya dan untuk partai.

Pada tanggal 30 Januari 2008, Rajoy menerima dukungan dari Angela Merkel di Jerman dan Nicolas Sarkozy dari Prancis untuk pemilihan umum Maret 2008. PP kalah dalam pemilihan umum, bagaimanapun, dan Rajoy terus memimpin partainya di oposisi.

Kritikannya terhadap pemerintahan Zapatero terfokus pada apa yang dianggap sebagai:

Pengurangan rencana ambisius dari eksekutif sebelumnya

Rencana Hidrológico NacionalRencana Nasional hidrologis

Undang-undang Organik LOCE pada Mutu Pendidikan

Dugaan "tidak perlu" reformasi hukum, seperti disampaikan dalam Catalan dan referendum Andalusia dengan tingkat abstain yang sangat tinggi. Menurut Rajoy, beberapa informasi dari mereka merupakan perubahan tersembunyi dari komunitas otonom terhadap konfederasi, membahayakan integritas negara. Dia telah mengatakan bahwa jika Zapatero ingin menerapkan pandangannya dari Spanyol, akan lebih baik jika ia mengusulkan reformasi Konstitusi Spanyol yang akan membutuhkan persetujuan dalam referendum nasional.

Kelemahan diduga menghadapi proses perdamaian dibuka sebagai akibat dari gencatan senjata permanen yang dinyatakan oleh organisasi ETA pada tahun 2006, rusak oleh perampokan dan senjata pengeboman Bandara Internasional Barajas.

Pengenalan subjek kewarganegaraan pendidikan menengah pada tahun-tahun terakhir (Educación alinea la Ciudadanía) dari konten polemik (pihak berseberangan, terutama Gereja Katolik, dan organisasi-organisasi afiliasinya, katakan adalah tidak netral dan memberikan beberapa sayap kiri indoktrinasi politik). Rajoy telah mengumumkan pembatalan jika dia memenangkan pemilu berikutnya.

Legalisasi aborsi sampai 14 minggu kehamilan, hukum yang diperhatikan oleh Mariano Rajoy sebagai "kriminal" dan melawan kehendak sektor besar dari masyarakat Spanyol.