En el lugar de la actual ermita hubo un castillo medieval que fue cambiando de manos entre cristianos y musulmanes, quizá destruido en tiempos de Jaime I, donde antes hubo asentamientos o edificaciones de los íberos, de los ilergetes y de la cultura romana.