En el siglo XIX, durante la guerra de la Independencia Española, de prisioneros franceses de la batalla de Bailén, y, después, de presos políticos, el primero y el más famoso de los cuales fue el ministro Gaspar Melchor de Jovellanos (1802-1808), que hizo la primera descripción del castillo y encargó los primeros planos y dibujos, así como una descripción botánica y geológica del pinar circundante, fundando con ellas el movimiento conservacionista del patrimonio.