В 1938 году был уволен после присоединения Австрии к нацистской Германии и эмигрировал во Францию, затем в Англию и позже в Соединённые Штаты Америки. С 1940 года он жил в Кембридже (штат Массачусетс) и работал в Гарвардском, Принстонском и Нью-Йоркском университетах. В 1942 году был удостоен стипендии Гуггенхайма. В 1947 году вернулся в Вену, где работал до 1962 года в качестве директора Альбертины. Одновременно все эти годы читал лекции в Венском университете, в том числе курс по истории западноевропейского рисунка XIV—XVIII столетий. В 1948 году он был назначен адъюнкт-профессором истории искусств.