En 1483 el castillo familiar fue parcialmente destruido y la familia huyó mayoritariamente a Benavente (hoy provincia de Zamora), donde se encontraba la poderosa familia Pimentel; otros, los menos a Pontevedra, y el joven João da Nova permaneció en Portugal.