Hay historiadores, que sostienen que fue el emperador Trajano quien construyó la fortaleza, aunque la primera documentación existente, sitúa el inicio de su construcción durante el Califato de Córdoba en el siglo X.