A finales del siglo XVI quedó vinculado el título de Conde de Lerín con el de la casa de Alba, en la persona de Antonio Álvarez de Toledo y Beaumont, sexto conde de Lerín por su madre Brianda de Beaumont, y quinto duque de Alba por su padre Diego Álvarez de Toledo.