In Folge des Anschlusses Österreichs an das Deutsche Reich 1938 verlor Schwarz seine Anstellung: Nach den Nürnberger "Rassengesetzen" galt der Katholik Schwarz als Jude. Er emigrierte im selben Jahr nach Schweden und 1940 in die USA. Dort arbeitete er zunächst am Albright Knox Museum in Buffalo, N.Y. und ab 1943 als Kurator am Museum of Art der Rhode Island School of Design. 1954 wechselte er an die Wesleyan University, Middletown, CT. Von 1966 bis 1968 hatte Schwarz eine Gastprofessur an der Columbia University inne. Seine Emeritierung erfolgte 1972, zwei Jahre vor seinem Tod. Sein Nachlass befindet sich heute in der Bibliothek des Getty Research Institute in Los Angeles.