Al paso de los años, el castillo cae en el abandono, hasta que en el siglo XVI el obispo Fray Diego Deza decide su derribo y aprovechando los materiales, la construcción del Palacio Episcopal dentro del mismo recinto.