Perteneció al Obispado de Segovia, que lo vendió al Duque de Béjar tras la Guerra de las Comunidades de Castilla.