Goldberg gikk av fra embetet i juli 1965 og ble umiddelbart utnevnt til USAs ambassadør til FN som erstatter til den da nylige avdøde Adlai Stevenson. Som FN-ambassadør var han regnet som en av hovedbidragsyterne til FNs sikkerhetsråds resolusjon 242, som kom i etterkant av seksdagerskrigen i Midtøsten. Hans rolle som FN-ambassadør under denne krigen kan også ha vært grunnen til at Sirhan Sirhan, mannen bak likvidasjonen av Robert F. Kennedy, også hadde ytret et ønske om å ta livet av Goldberg. I frustrasjon om hvordan Vietnamkrigen utviklet seg, sluttet han deretter som ambassadør i 1968, og begynte å arbeide for advokatselskapet Paul, Weiss, Rifkind, Wharton & Garrison i New York City.