A partir de inicios del siglo XIX, extinguido el mayorazgo del linaje de los Álvarez de Toledo, pasó el señorío al propio pueblo, aunque posteriormente los duques de Frías reclamaron y obtuvieron dicho señorío en 1806.