しかし2004年2月、シャロンがガザからの全面撤退を掲げた一方的ガザ地区撤退計画を発表すると、両者の対立が再燃する。シャロンは末端党員の支持を受けた上で計画の実現を画策するが、2004年5月に行われたリクードの党員投票では20ポイントもの差をつけられ撤退計画は拒否される。ネタニヤフは当然反対の意を示し、シャロンの腹心だったリモール・リブナット教育相もこれを境にシャロンから離反してしまう。撤退計画は、シャロンとネタニヤフの権力闘争という意味合いだけではなく、党内の強硬派と穏健派の対立、党是であった大イスラエル主義（「約束の地」の範囲を元々イスラエルのものと捉える思想）の是非と言った、古い問題を顕在化させてしまったのである。