Po smrti hraběte v roce 1891 majetek připadl Sofii, která si vzala hraběte Ernsta z Moy de Sons a palác tak skončil ve vlastnictví tohoto starého francouzského šlechtického rodu. V roce 1918 palác přitáhl veřejnou účast, když jej král Ludvík III. Bavorský a jeho rodina využili při útěku před Listopadovou revolucí. V Deklaraci z Anif Ludvík III. odmítl abdikovat, nicméně vyvázal všechny vládní představitele, vojáky a úředníky z přísahy vůči sobě, protože nebyl schopen pokračovat ve vládnutí. Během druhé světové války zámek využíval Wehrmacht k ubytování, v roce 1945 jej vystřídaly americké vojenské jednotky.