Em 1991, Abdel-Shafi foi um dos membros da representação palestiniana que participou na Conferência de Madrid. Devido a que Israel não reconhecia a OLP como interlocutora válida, teve de participar, junto com Saeb Erekat, como membro da delegação jordana. Contudo, terminou criticando, por considerá-los concessões excessivas, alguns dos pontos dos Acordos de Oslo nos quais a delegação palestiniana aceitou princípios de tinha repelido nas conversas de 1991.