Alcázar stojí na místě starověké římské pevnosti "Tolosa", která byla ve středověku několikrát opravována. Současný renesanční zámek vznikl podle plánu architekta Alonso de Covarrubias z roku 1537, za panování krále Karla I. (tj. císaře Karla V.), v roce 1710 však vyhořel a musel být přestavěn. Za španělské občanské války roku 1936 se v Alcázaru opevnila nacionalistická posádka a republikánské vojsko hrad po dva měsíce marně obléhalo. Zámek byl přitom silně poškozen a musel projít důkladnou rekonstrukcí. „Obležení Alcázaru“ pak hrálo velkou roli ve frankistické propagandě.