Durante la época visigoda debió construirse el núcleo de la fortaleza en el emplazamiento ubicado en la cima del "Cerro de las Torres", que posteriormente remozarían y ampliarían los nuevos conquistadores árabes, que tras su entrada en la Península llegarían muy pronto a Álora a la cual acabarían denominando como "hisn Al-lura".