Han kom i sentrum for kontroverser som kulminerte i 2014 og førte til at generalvikaren og deretter to prester i bisperådet gikk av. Erkebiskopen av Rennes, Pierre d'Ornellas, dro dit for å løse en situasjon som ble beskrevet av bispedømmet som et spørsmål om «dyp sykdom» («malaise profond»).. Biskop Le Vert ble særlig bebreidet for den innflytelse han skulle ha overlatt til folk rundt ham, dom ble ansett å ha vært til skade. Til slutt ga pave Frans ham den 12. mai 2014 om å frasi seg å utøve av sin tjeneste uten tidsbegrensning, av helsemessige årsaker. Samme dag ble Philippe Gueneley, biskop emeritus av Langres betrodd ledelsen av bispedømmet som apostolisk administrator.