不得人心的席哈克与让-皮埃尔·拉法兰内阁导致许多人民运动联盟成员转而支持席哈克的对手尼古拉·萨科齐。萨科齐公开反对土耳其加入欧盟，与席哈克的支持扩大欧盟的立场相左。2004年大区选举，人民运动联盟严重挫败，只拿下法国本土22大区中的两区（亚尔萨斯与科西嘉）。2004年欧洲议会选举，该党只拿下16.6%的选票，远远落后社会党的28.9%。第一任党主席、席哈克重要战友、前总理阿兰·朱佩在2004年7月15日因一月爆发的贪污事件而下台。11月29日，萨科齐宣布他将出任党主席并辞去经济、财政与产业部长，萨科