Se conjetura que en tiempos remotos se situó en su emplazamiento un puesto vigilante romano, pero lo que es seguro es que, hacia el año 981, y por orden de Almanzor, el arquitecto Fatho ben Ibrahim el Omeya, llamado Aben el Caxeri de Toledo, constructor de las grandes mezquitas de Gebal Berida y de Adabegin en Toledo y célebre por su saber y sus viajes al Oriente, aumentó y perfeccionó una fortaleza preexistente.