En el siglo XIX, se decidió destruir el castillo debido a su estado ruinoso pero fue salvado de la demolición gracias a la acción de Prosper Mérimée, que consiguió que fuese clasificado monumento histórico en 1862 y unos años más tarde, se inició su restauración.