Fue restaurado y ampliado durante el mandato de Alfonso VI y sus sucesores Alfonso VII y Alfonso VIII; Fernando III el Santo la embellece considerablemente y Alfonso X el Sabio logra aunar las tres culturas que han pasado por Toledo — judía, árabe y cristiana— con la famosa Escuela de Traductores de Toledo, completó la fachada oriental y mandó construir las cuatro torres de planta cuadrada que forman las cuatro esquinas del edificio.