Der Bau ging aus einer römischen Anlage hervor und wurde im Mittelalter mehrfach renoviert. Die heutige Anlage geht auf einen Plan von Alonso de Covarrubias aus dem Jahr 1537 während der Regierungszeit Karls I. zurück. 1710 während des Erbfolgekrieges wurde diese Anlage durch Flammen vernichtet, danach wieder aufgebaut. Der Bau ist ein Beispiel für den Desornamentado-Stil der Spätrenaissance. Von 1875 bis 1948 befand sich in ihm die Infanterieakademie von Toledo.