En 1529, se acordó su matrimonio con Leonor de Castro, amiga íntima, caballeriza mayor y dama de la reina Isabel.