Samme år som fredsavtalen ble undertegnet, ble Terje Rød-Larsen ansatt i UD som spesialrådgiver i Midtøsten-spørsmål, med rang som ambassadør. Som nær medarbeider for utenriksminister Johan Jørgen Holst var han med å tilrettelegge Oslo-avtalen som i 1993 ble undertegnet mellom lederne for Israels regjering og Palestinas frigjøringsorganisasjon. I 1994 ble han utnevnt til visegeneralsekretær i FN og spesiell koordinator for de palestinske områdene, og hadde denne stillingen fra juni 1994 til oktober 1996.