En el siglo XIX el castillo se convierte en cuartel general de las tropas francesas durante el asedio de Cádiz y San Fernando. En el periodo ocupación francés entre 1810 y 1812 se volvieron a levantar las murallas y se construyeron dependencias en su interior, como barracones para la tropa, cuadras, cocinas, etc.