Contrajo matrimonio con su sobrina Luisa de Padilla y Manrique, hija de su hermano mayor Juan de Padilla y Manrique, adelantado mayor de Castilla, y María de Acuña, VII condesa de Buendía, reuniendo en su persona ambos títulos.