Jabarkan Menteri Dalam Negeri: 1996–2004 dari Mariano Rajoy

Seorang rekan lama bernama José María Aznar membuat Rajoy bergerak ke politik nasional ketika Aznar menjadi Perdana Menteri pada tahun 1996 dengan dukungan dari Partai Nasionalis Basque (PNV), Konvergensi dan Uni (Ciu) dan Canarian Koalisi, menjabat sebagai Menteri administrasi Umum dan Menteri Pendidikan dan Kebudayaan dalam pemerintahan Aznar pertama.

Pada tahun 1996, ia menikah dengan seorang rekan Galicia, Elvira Fernandez Balboa.

Dia berhasil mengkampanyekan secara sukses Partai Rakyat dalam pemilu 2000. Aznar kemudian mengangkatnya menjadi Wakil Menteri Perdana dalam Pemerintahan Spanyol. Pada Februari 2001, ia diangkat menjadi Menteri Dalam Negeri, setelah Jaime Mayor Oreja memutuskan untuk mencalonkan diri dalam daftar pimpinan Partai Rakyat pada Pemilihan Basque 2011.

Pada 30 Agustus 2003, Aznar mengumumkan bahwa ia akan pensiun dari politik pada Pemilu 2004 dan mengusulkan Rajoy sebagai penggantinya. Setelah Kongres ke-14 Partai Rakyat pada bulan Oktober 2004, dia menjadi Ketua partai baru. Kemudian menjadi oposisi setelah kalah dalam pemilihan PSOE.