I 1940 ble Goldberg kastet ut av hæren etter ordre fra Adolf Hitler, da han 8. april 1940 kunngjorde at ingen soldater av jødisk herkomst kunne tjenestegjør i Wehrmacht.