Han var vokst opp i Warszawa, men ble tysk statsborger da han kom til Berlin for å bli med i Berliner Philharmoniker. Han måtte forlate Berlin i 1939 på grunn av at kona var jødisk, og reiste da til USA.