Småningom fick slottet förfalla,