En el siglo XV se cedió a Gutierre de Cárdenas y posteriormente pasó a manos de los condes de Colmenar y a los duques de Frías.