しかし、論争を呼んだガザからの全面撤退（ガザ地区撤退計画）を2004年にシャロンが打ち出すと、穏健派であるにもかかわらず党内の多数派工作をなぜか拒否し周囲を驚かす。その理由として、シャローム自身、将来の首相の座をかねてから狙っており、そのために党内の強硬派を刺激したくないこと、また、ガザ地区撤退計画はオルメルト副首相（当時）やヴァイスグラス官房長官らごく一部のシャロン側近が立案･作成したもので、その密室でのやりとりにシャロームが不快感を持った、などが考えられる。シャロームはその後の国会での採決や閣議決定では賛成の立場をとった。