Hij bleef ook in het Berlijnse muziekleven actief. Tijdens de naziperiode reed Stolz vaak op en neer van Berlijn naar Wenen en heeft hij 21 keer Joden en politiek vervolgden in zijn limousine meegesmokkeld naar Oostenrijk. Toen Oostenrijk zich aansloot bij Nazi-Duitsland, vluchtte hij in 1938 via Zwitserland naar Parijs. Hij werd daar als vijand gevangengenomen. Hij werd vrijgekocht en ging naar de Verenigde Staten, waar hij succes had als filmcomponist. Tweemaal werd hij genomineerd voor een Oscar voor filmmuziek, in 1940 voor "Spring Parade" (in het bijzonder voor "Waltzing in the Clouds" dat een hit werd voor Deanna Durbin) en in 1941 voor "It Happened Tomorrow". De nazi's probeerden hem terug te laten keren door hem eervolle aanbiedingen te doen, maar toen hij categorisch weigerde, werd hem in 1941 het staatsburgerschap van het Duitse Rijk ontnomen en werden zijn bezittingen geconfisqueerd.