Se ha propuesto como causa de su destrucción la construcción de la cabecera de la actual catedral gótica en el siglo XIV en tiempos del obispo Gutierre de Toledo, si no fue antes con las reformas efectuadas en el siglo XII.