En la segunda mitad del siglo XIV fue destruido por Pedro I, en su lucha contra su hermano Enrique de Trastámara, incendiándolo y destruyendo las torres y habitaciones que se encontraban sobre la puerta principal.