Avusturya'nın Anschluss'unun ardından Mart 1938'de Nazi Almanyası'na el konuldu ve sürgündeki Avusturya Ulusal Sosyalistlerinin paramiliter bir birimi olan Österreichische Lejyonuna transfer edildi. II.Dünya Savaşı sırasında bir kez daha ordu hastanesi yapıldı. Savaş sona erdiğinde, Viyana Şehri eski toplama kampı mahkumlarını barındırmak için ve yine bir yetimhane olarak binanın bazı kısımlarını kullandı. 1950'lerden 1977'ye kadar davranış sorunları olan kızlar için özel bir eğitim tesisi işletildi. Bundan sonra, yıllık Viyana Festivali gibi özel günlerde temsil odaları açıldı, ancak genel olarak kaleden 1988'e kadar çok az kullanıldı. otel olarak yeniden açıldı.