Sedan dess har slottet stått obebodt.