Cuenta la historia que al subir al trono de España Carlos I y al comenzar las guerras de las Comunidades, Juana la Loca, con el féretro de su esposo, estuvo algún tiempo en el castillo de la villa, donde se creía segura bajo la salvaguardia de su titular el por entonces condestable de Castilla, Bernardino Fernández de Velasco, al ser este partidario acérrimo de su hijo.