当选首相后，他先后被任命为公共管理大臣、教育与文化大臣。在2000年国会大选中，由于他竞选活动的成功而被任为副首相，2001年2月起任内政大臣。由于人民党政府在2003年追随美国出兵伊拉克，以及应对311马德里地铁爆炸案不力，导致选民纷纷倒戈支持工人社会党，社会党主席罗德里格斯·萨帕特罗在2004年3月大选中获胜，人民党成为在野党，结束八年执政。2004年10月，他当选人民党主席。2008年3月的大选中人民党再次败给工人社会党，因此直到2011年11月大选获胜，他一直任反对党领袖。受到不断恶化的