Goldberg startet sin karriere med å studere ved DePaul University og siden ved Northwestern University School of Law, hvor han ble uteksaminert med magna cum laude i 1930. Utover 1930-tallet opparbeidet han seg som en advokat med spesialisering innenfor arbeidsrett. Under andre verdenskrig tjenestegjorde han som etterretningsoffiser i Office of Strategic Services, hvor han blant annet hadde som oppgave å opprettholde kontakt med arbeiderbevegelsen som lå under bakken i Europa.