En 1779 la jefatura de la casa pasó a la Casa de Villafranca del Bierzo, cuando a la muerte sin descendencia de Pedro de Alcántara Pérez de Guzmán y Pacheco, XIV Duque de Medina Sidonia, lo heredó su sobrino segundo José Álvarez de Toledo y Gonzaga, XI Marqués de Villafranca, quien también murió sin descendencia, pasando la varonía de la casa a su hermano Francisco de Borja Álvarez de Toledo y Gonzaga.