Se casó con Brianda Manrique de Lara, con la que tuvo dos hijos: Luis, IV conde de Lerín, (1504 - 9 de enero de 1565), y Juan, pero teniendo, además, dos hijas ilegítimas, Luisa y María.