Después de enviudar de Elvira de Portocarrero, tuvo un hijo natural en Margarita Manuel, viuda de Diego García de Toledo Barroso, e hija de Enrique Manuel de Villena y Beatriz de Sousa: