En el siglo XIII pasó a manos de la Orden de Santiago y fue cedido por su gran maestre, Enrique IV de Castilla, al adelantado Alfonso Tenorio, cabeza de la familia de los Silva, condes de Cifuentes desde 1454.