I 2004 erklærte president Bush at han droppet Arafat som en fremtidig forhandlingspartner. Arafat hadde et blandet forhold til lederne av øvrige arabiske land, og deres støtte så ut til å øke hver gang han var under press fra Israel. Dette viste seg tydelig da Israel annonserte i 2003 at de i prinsippet hadde besluttet å fjerne ham fra den israelskstyrte Vestbredden. Etter Ariel Sharons anmodning om at Arafat skulle utestenges fra de palestinske territoriene på livstid, kom Arafat med et svar i et intervju hos den arabiske TV-kanalen : «Er det hans [Sharons] hjemland, eller vårt? Vi ble plassert her før profeten Abraham kom, men det ser ut som om de [israelerne] ikke forstår historie eller geografi».