Tras enviudar el primer Conde de Vía Manuel, se desposó en segundas nupcias con María Josefa de Flores y Barrantes,(hija de Pedro Alfonso Flores Montenegro y Sarmiento de la Cerda e Inés Lucia Barrantes Figueroa y Ulloa, III Vizconde de Peñaparda de Flores) matrimonio del que nacieron seis hijos, entre ellos el primogénito y heredero Juan Manuel de Villena y Flórez.