Несмотря на то, что в 1208 году папа Иннокентий III порицал Эрве как друга еретиков и евреев, тот в 1209 году принял участие в Альбигойском крестовом походе в южную Францию, однако в отличие от многих других сеньоров отказался участвовать в управлении захваченными областями и вернулся в свои владения. В 1210 году под нажимом короля Филиппа и папы Эрве обязался не предоставлять защиту евреям, за которыми охотится король.