Les remparts ont été construits pour protéger la population après que le bourg de Castelveyre eut été pillé et saccagé par les troupes de Raymond de Turenne, seigneur des Baux.