Se inició en este momento una etapa oscura para el monumento, que frecuentado ocasionalmente y sin uso específico, fue deteriorándose con los años, y las escasas noticias que se tienen al respecto de esta época, reiteran el hundimiento de techumbres y otros pormenores que los duques siempre restauran, aunque sin mostrar un especial interés por su conservación y por todas las obras de arte allí almacenadas, entre las que se localizaban una importante vajilla de oro y plata, una conocida armería y diferentes lienzos de pintores reconocidos.