En 1597 asumió la titularidad del señorío Francisco Gómez de Sandoval y Rojas, Duque de Lerma y favorito del rey Felipe III, al que atrajo en distintas ocasiones a la villa, convirtiéndose el castillo en sede ocasional de la Corte española.