En 1363, durante las guerras entre Castilla y Aragón, el palacio fue incendiado por las tropas castellanas en su sitio de la ciudad.