I slutten av september 1962 ble Goldberg utnevnt til høyesterettsdommer ved De forente staters høyesterett, som erstatter for Felix Frankfurter som måtte trekke seg på grunn av sykdom. Som høyesterettsdommer frontet han sitt syn på dødsstraff etter voldtekt, og mente at denne praksisen burde avskaffes på grunnlag av praksisen generelt i det internasjonale samfunnet. Denne problemstillingen kom siden opp i flere rettssaker i USA utover 1970-tallet. For øvrig var senere høyesterettsdommer Stephen Breyer ansatt under Goldberg i denne perioden.