El castillo, que fue erigido sobre los restos de la antiquísima fortaleza íbera, llegó a ser calificado en el siglo XV por el Marqués de Santillana (el mejor escritor castellano de su época) como "inexpugnable fortaleza".