Desde entonces, los logros y hazañas de sus titulares se asocian a la Casa de Paternó, a la Casa de Villafranca del Bierzo, tras el matrimonio del VIII Marqués de Villafranca con la Marquesa Catalina Moncada d'Aragona, y posteriormente a la Casa de Medina-Sidonia, "una de las principales del Reyno por su grandeza y antigüedad", cuando recayó sobre José Álvarez de Toledo Osorio, IX Marqués de los Vélez y Villafranca, tras la muerte de su primo, el XIV Duque de Medina-Sidonia, muerto sin descendencia.