Im Februar 1864 hielt Cartier als Oppositionsführer im Parlament eine 13-stündige Rede, in der er die gesamte Politik der Regierung heftig kritisierte. John Sandfield Macdonald und Antoine-Aimé Dorion traten daraufhin als Co-Premierminister zurück. Er lehnte es ab, vom Generalgouverneur zum neuen Regierungschef ernannt zu werden, nahm aber als Attorney General in der Regierung Einsitz. Zusammen mit John Macdonald und George Brown führte Cartier die "Große Koalition" an, die auf eine Vereinigung der britischen Kolonien hinarbeitete. Er nahm an den Konferenzen von Charlottetown, Québec und London teil, an denen seine Ideen für einen föderalen Bundesstaat Zustimmung fanden.