I 1956 blev han utnevnt til ambassadør, og ble Oscar Thorsings etterfølger som Sveriges faste ambassadør i FN. Han hadde posten til 1958, og ble etterfulgt av Agda Rössel. Under perioden i FN var han Sveriges representant i Sikkerhetsrådet 1957–1958, og megler i Kashmir-konflikten mellom India og Pakistan. Han hadde en vanskelig rolle under Libanonkrisen i 1958, da den svenske regjering som det eneste land fulgte Sovjetunionens holdning, noe som gjorde Dag Hammarskjöld fortvilet over Jarring. Dette førte til en konflikt mellom utenriksminister Östen Undén og denne, og Jarring ble samme år ambassadør i Washington, D.C., en post han hadde til 1964 da han ble forflyttet til Moskva.