Après l'annexion de l'Autriche en 1938, Kallir est persécuté non seulement pour le fait d'être juif, mais aussi pour avoir soutenu le gouvernement Schuschnigg . Il vend la Neue Galerie à sa secrétaire, Vita Kūnstler, qui la conservera de son mieux et la restituera à Kallir après la seconde Guerre mondiale. Parce que le travail des artistes modernes que la galerie représentait n'était pas soumis aux lois autrichiennes sur l'exportation et était le plus souvent considéré par les nazis comme de « l'art dégénéré », Kallir parvient à emporter avec lui en exil la majeure partie de l'inventaire de sa galerie. Kallir et sa famille s'installent d'abord à Lucerne, puis n'obtenant pas de permis de travail suisse, à Paris, où il a ouvre la "Galerie Saint-Étienne". Cependant, les Français refusant d'accorder un permis de séjour à sa femme et ses deux enfants, la famille Kallir émigre aux États-Unis en 1939, où il fonde la "Galerie St. Etienne" à New York.