En 1518 el cardenal de Croy entregó el señorío al flamenco Charles de Lannoy, quien a su vez lo revendió a su antiguo señor, García de Villarroel, a cambio de 1.500 ducados.