En abril de 2005, Wolfensohn fue nombrado enviado especial para la retirada de Gaza por el Cuarteto de Madrid, un grupo de grandes potencias y las Naciones Unidas que promueven el proceso de paz israelo-palestino. Renunció después de 11 meses como enviado especial cuando entendió que el gobierno de Estados Unidos estaba socavando sus esfuerzos y despidiendo a su personal.