Durante la Segunda Guerra Mundial, el Palacio fue ocupado por las tropas nacionalsocialistas, periodo en el cual el Castillo sufrió graves daños en sus obras de arte más importantes.