Het fort werd in zijn bestaan verschillende malen door brand verwoest. In 1710 kreeg het de eerste keer een brand te verduren om een eeuw later in 1810 weer in vlammen op te gaan door toedoen van de Napoleontische troepen. En ook na de heropbouw van de vesting tussen 1867 en 1882, kreeg het Alcázar in 1887 een derde keer een zware brand te verduren. Maar het Alcázar van Toledo is nog het meest bekend door het beleg ervan tijdens de Spaanse Burgeroorlog.