Era de los descubrimientos
A pesar de la pérdida del favor real, Cabral consiguió un ventajoso matrimonio en 1503 con Isabel de Castro, una noble mujer rica y descendiente del rey Fernando I. Su madre era hermana de Afonso de Albuquerque, uno de los dos mayores líderes militares de Portugal durante la Era de los descubrimientos. El matrimonio tuvo por lo menos cuatro hijos: dos varones (Fernão Álvares Cabral y António Cabral) y dos mujeres (Catarina de Castro y Guiomar de Castro). También tuvieron otras dos hijas, llamadas Isabel y Leonor. Otras fuentes afirman que Guiomar, Isabel y Leonor fueron admitidas en órdenes religiosas. El primogénito Fernão fue el único de los dos hijos de Cabral que tuvo herederos, puesto que António murió en 1521 sin contraer matrimonio. Afonso de Albuquerque intentó interceder a favor de Cabral y, el 2 de diciembre de 1514, pidió al rey Manuel I perdonarle y, asimismo, permitirle regresar a la corte, pero no lo consiguió.