En su primer matrimonio con María de Mendoza tuvo cuatro hijos varones: Garcilaso de la Vega, futuro embajador de Felipe II, Pedro González de Mendoza, canónigo de Toledo, Álvaro de Luna, caballero de la Orden de Alcántara, y Lorenzo Suárez.Contrajo un segundo matrimonio, en Elvas el 5 de febrero de 1526, con Beatriz de Sá, dama de la emperatriz Isabel de Portugal.