Finalmente acuerdan dejar la fortaleza en manos de Fernán (1480); su despotismo provocó el asalto del castillo por parte de los vecinos durante la Guerra de las Comunidades, que se recrea históricamente cada verano.