I 1967 ble han utnevnt til FNs utsending i konflikten mellom Israel og araberne, en post han hadde til 1990. Han etablerte sitt hovedkvarter i Nikosia på Kypros. Derfra førte han samtaler med Egypt, Jordan, Israel og Syria for å få landene til å akseptere FNs resolusjon 242, og medvirket ved utveksling av fanger. Dessuten arrangerte han et beryktet fredsmøte i New York 7. august 1970, hvor han la fram et forslag til en fredsavtale mellom Egypt og Israel som innebar at Israel skulle trekke seg tilbake fra de besatte områder. Hans forslag ble avvist. Han kunne ikke oppnå noen konkrete fredsresultater i de første seks årene. Da FNs generalsekretær U Thant på grunn av helseproblemer unnlot å søke gjenvalg i 1971, var Jarring en av de som ble foreslått som hans etterfølger.