Tras la muerte de Gastón en 1660 el castillo fue abandonado.