En su interior se conservan restos de la fortaleza musulmana anterior, que era de planta cuadrangular y mucho más pequeña, y que fue abandonada con la caída de Toledo.