En el siglo XI, el castillo fue tomado por el rey Alfonso VI de Castilla, poco antes de la caída de Toledo.