Aunque parece ser que en Castellfort estuvo asentado primeramente un fuerte romano, fueron los árabes quienes durante su dominación, fortificaron el castillo y lo llamaron "Galintort".