В 16 апреля 1938 года нацистское правительство Германии конфисковало дворец в рамках ариизации «еврейской собственности» в Австрии. В том же году Герман Геринг передал дворец принцессе Стефании фон Гогенлоэ, считавшейся шпионом Гитлера в Великобритании и других европейских странах. Ей было поручено превратить замок в гостевой дом для выдающихся деятелей культуры нацистского государства. Фон Гогенлоэ, знавшая Рейнхардта до аншлюса Австрии, отправила часть фарфора, серебра и др. в Калифорнию (Рейнхардту). Есть предположения, что Стефани фон Гогенлоэ могла быть двойным агентом.