Al agotarse la línea primogénita de los Ayala, pasó en 1597 a poder de Francisco de Sandoval y Rojas y Borja el cual eleva la condición del señorío, a Condado de Ampudia (1602), siendo además Duque de Lerma, valido de Felipe III.