Abbas también ha desarrollado labores diplomáticas, tratando siempre de presentar una visión moderada que contrastaba con las políticas revolucionarias de la OLP. Fue jefe de negociaciones de la OLP de 1974 a 2003. En 1984 fue nombrado jefe del Departamento de Relaciones Nacionales e Internacionales de la OLP, puesto con un marcado carácter diplomático. Abbas fue el primer alto cargo de la OLP en visitar Arabia Saudí para mejorar las relaciones bilaterales después de la Guerra del Golfo de 1993, en la que este último país había apoyado a la alianza de países occidentales mientras que la OLP se decantó por apoyar a Irak. Ya durante la Primera Intifada llevó a cabo conversaciones de paz con los israelíes, y poco después coordinó la diplomacia palestina en la Conferencia de Madrid. En los Acuerdos de Oslo, ratificados el 13 de septiembre de 1993, Abbas fue el alto cargo signatario por parte de la OLP y ha sido reconocido como uno de sus mayores artífices. A este respecto publicó unas memorias tituladas “Through Secret Channels: The Road to Oslo” (1995). Durante las conversaciones que llevaron a estos acuerdos, los servicios secretos israelíes instalaron micrófonos en la oficina de Mahmoud Abbas, gracias a los cuales descubrieron que su relación con Yasir Arafat era muy mala. Abbas, uno de los mayores defensores palestinos de los Acuerdos de Oslo, advirtió al comité central de la OLP en Túnez: “Este acuerdo lleva en sus entrañas bien un estado independiente, bien la consagración de la ocupación. Todo depende de nuestra mentalidad a la hora de abordarlo. (…) Somos un pueblo cultivado. Como individuos, hemos hecho mucho por todo el mundo. Ahora llega la pregunta: ¿podemos construir las instituciones que permitan reconstruir esta tierra quemada? La mentalidad de la revolución es muy distinta de la mentalidad del Estado. Todos debemos ponernos nuevos trajes y pensar con nuevas mentes si queremos construir este Estado”.