Tras la creación del Condado de Noblejas, en 1689 pasa a manos de Francisco Antonio de Herrera de la Concha, quien edificó su palacio en la plaza de la villa.