Casó en 1743 con Mariana de Silva y Álvarez de Toledo (†1778), hija del IX conde de Galve y de la XI duquesa de Alba de Tormes, con quien no tuvo descendencia, pasando sus títulos y bienes a su sobrino segundo José Álvarez de Toledo y Gonzaga, XI marqués de Villafranca del Bierzo, quien también murió sin descendencia, pasando la varonía de la casa de Medina Sidonia a su hermano Francisco de Borja Álvarez de Toledo y Gonzaga.