En 1944, Adolf Hitler en chasse les propriétaires, une manière de répondre à l'attentat qui l'a visé, organisé par des aristocrates. En août, le prince Friedrich reçoit ainsi en août un télégramme du ministre Joachim von Ribbentrop lui donnant l'ordre de quitter le château, les Hohenzollern étant placés en résidence surveillée à Wilflingen.