En 1916, il ne se représente pas lors des élections provinciales. En 1917, il s'oppose à la nouvelle loi sur la conscription et va même jusqu'à prôner la désobéissance civile. Il se présente dans son comté de Montmagny aux élections fédérales du 17 décembre mais Laurier décide de lui opposer un candidat car la présence de Lavergne à la Chambre des Communes ne pourrait être, croit-il, qu'une nuisance pour lui et son parti. Lavergne est défait à l'élection.