Koncem třicátých let začal Rosenberg v obavách před příznaky blížící se války v tichosti přesouvat svou sbírku z kontinentální Evropy do londýnské pobočky a do skladů v Americe (to prostřednictvím Světové výstavy v roce 1939), v Austrálii a později do Jižní Ameriky. Poté přestal rozšiřovat svou sbírku ve Francii a doporučil svým umělcům, aby učinili podobná opatření. Ačkoli jeho plány přemístění obrazů byly předvídavé, v době nacistické invaze do Francie v roce 1940 stále držel v zemi přes 2 000 obrazů, a to jak ve své galerii, tak ve skladech. Rosenbergové byli Židé a museli uprchnout z Francie okupované nacisty. Za své životy vděčili portugalskému generálnímu konzulovi v Bordeaux Aristidesovi de Sousa Mendesovi, který jim i přes nesouhlas své vlády vydal víza do své země.