Fadrique war eng mit den Katholischen Königen, Ferdinand II. von Aragón und Isabella I. von Kastilien verbunden – zum einen, weil sein Vater im Jahr 1476 aktiv in die Schlacht bei Toro eingegriffen hatte, die den Sieg Isabellas über ihre Nichte Johanna (Juana la Beltraneja) brachte, zum anderen, weil seine Mutter die Schwester von Juana Enríquez war, der Mutter Ferdinands II. Seine Nichte María de Toledo, die Tochter seines Bruders Fernando Álvarez de Toledo, heiratete im Jahr 1508 den Sohn von Christoph Kolumbus, Diego Kolumbus, der in seinen Jugendjahren Page am Hofe von Isabella I. von Kastilien war und im Jahr der Eheschließung von den Katholischen Königen zum zweiten Vizekönig von Neuspanien ernannt wurde. Sie war die Mutter von Luis Kolumbus, dem dritten Vizekönig von Neuspanien und letztem Kolumbus-Erben.