Estos siglos de esplendor concluyeron con la Guerra de la Independencia cuando en 1809 las tropas napoleónicas tomaron el castillo hasta su retirada en 1812. Antes del desmantelamiento por parte de las fuerzas francesas, el castillo sufrió las consecuencias del terremoto de Lisboa de 1755, al que se le atribuyen las grietas de sus muros; y, posterior a la marcha del ejército francés, Julián Sánchez "El Charro" se ocupó personalmente de incendiar el castillo como estrategia de defensa, con lo que quedó en desuso iniciándose un lento proceso de ruina.