Slottet har genomgått skiftesrika öden.