La loro influenza giunse a tali livelli che si diceva che avessero «afaturato» il duca. Durante i disordini scoppiati in città al tempo della Guerra del Sale con Venezia, la duchessa Eleonora dovette, per ottenere il sostegno militare dei cittadini, esiliare i Trotti da Ferrara. Prima ancora che i suoi fratelli fossero cacciati, Giacomo aveva preferito anticipare i tempi e l'8 maggio 1482 si era diretto nottetempo a Milano, città nella quale decise di rimanere anche quando, due anni dopo, ai suoi fratelli fu concesso di rientrare a Ferrara.