El palacio-fortaleza fue destruido por varios incendios, alguno ya en época de Álvaro de Luna.