I 1970 bestemte han seg for å stille til valg som guvernør i New York, men tapte valget til fordel for Nelson Rockefeller. Etter valgtapet dro han tilbake til sin advokatpraksis i Washington, D.C., hvor han også ble president for American Jewish Committee. Under president Jimmy Carter tjenestegjorde Goldberg som amerikansk ambassadør under Beogradkonferansen om menneskerettigheter i 1977, og året etter ble han tildelt Presidentens frihetsmedalje. Arthur Goldberg døde den 19. januar 1990 i Washington, D.C. og ble siden gravlagt i Æresgravlunden i Arlington.