El origen de esta fortaleza se remonta a un alcázar que levantaron los andalusíes sobre un antiguo castro celtibérico entre los siglos X y XI, y en el que situaron su residencia los reyes que gobernaban esta taifa.