Han ble utpekt til å etterfølge Aznar og ledet valgkampen for Partido Popular i 2004, men måtte i etterkant av terrorangrepet i Madrid i mars samme år se partiet slått av Partido Socialista Obrero Español under ledelse av José Luis Rodríguez Zapatero. Rajoy ble opposisjonsleder og ledet partiet til framgang i valget i 2008, likevel uten å vinne regjeringsmakten. I valget i 2011 var Rajoy igjen statsministerkandidat og denne gang lyktes partiet i å vinne flertall i Spanias nasjonalforsamling. Rajoy ble innsatt som statsminister den 21. desember 2011.