Desde 974 Lherm fue residencia del abad de Lézat, existiendo en el lugar una fortificación.