Langevins politische Karriere begann 1856 mit der Wahl in den Stadtrat von Québec. Von 1856 bis 1861 war er Bürgermeister seiner Geburtsstadt. Darüber hinaus kandidierte er 1858 bei der Wahl zum Unterhaus der Provinz Kanada und setzte sich im Wahlkreis Dorchester durch. 1861 und 1863 gelang ihm jeweils die Wiederwahl. Zwischen 1864 und 1867 gehörte er der Regierung der Provinz Kanada an, als Justizminister "(Solicitor General)" und Postminister. Bei den Beratungen um die Schaffung eines föderalen Bundesstaates spielte Langevin eine maßgebliche Rolle. Er nahm 1864 an der Charlottetown-Konferenz und an der Québec-Konferenz teil, zwei Jahre später auch an der Londoner Konferenz.