Am 19. September 1943 zogen Benito Mussolini, seine Frau Rachele, Romano Mussolini, Anna Maria Mussolini und Filippo Anfuso im Schloss Hirschberg ein. Mussolini war im Unternehmen Eiche aus Gefangenschaft durch Umstürzler befreit worden. Zunächst war er im Prinz-Carl-Palais in München einquartiert, wegen der Bombengefahr wurde eine abgelegene, friedlichere Gegend des Deutschen Reiches gesucht, bis er nach Italien zurückkehren konnte. Mussolinis Tochter Edda Ciano, ihr Mann Galeazzo Ciano und Kinder waren in einer Villa in Allmannshausen am Starnberger See untergebracht und beabsichtigten nach Argentinien auszuwandern. Am 23. September 1943 flog Mussolini zurück, seine Familie blieb bis 2. November 1943 im Schloss Hirschberg.