El castillo de Sierra -así se llamaba a la fortaleza árabe- se conquistó en 1219 por el arzobispo de Toledo y un año más tarde es entregado en feudo a su primo Gil Garcés junto con los castillos de Serreilla y Mira formando un seudoseñorio que fue desmontado en 1231.