La casa de Medina Sidonia estuvo desde sus orígenes en manos de la familia Pérez de Guzmán, comúnmente conocidos como los Guzmanes, hasta que en 1779 pasó a los Álvarez de Toledo, cuando a la muerte sin descendencia de Pedro de Alcántara Pérez de Guzmán y Pacheco, XIV duque de Medina Sidonia, lo heredó su primo José Álvarez de Toledo y Gonzaga, XI marqués de Villafranca del Bierzo, quien también murió sin descendencia, pasando la varonía de la casa a su hermano Francisco de Borja Álvarez de Toledo y Gonzaga.