1863 war Archibald einer von nur 14 Liberalen, die noch einen Sitz im Parlament erreichten. Der konservative Premier Charles Tupper vertrat in Schul- und Eisenbahnpolitik aber sehr ähnliche Positionen, und so war es wenig verwunderlich, dass Archibald zusammen mit McCully als liberaler Vertreter zur Charlottetown-Konferenz berufen wurde. Dort wurde er zum Anhänger der Idee einer Union der nordamerikanischen Kolonien und diskutierte Fragen einer möglichen Verfassung mit den Vertretern der anderen Kolonien. Vor allem in finanziellen Fragen war er ein anerkannter Moderator. Im Parlament in Halifax blieb er aber der einzige liberale Anhänger einer Union. Trotz dieser Unstimmigkeit mit seiner Partei in einer viel diskutierten Frage blieb er aber deren Vorsitzender. 1866 einigten sich New Brunswick, Nova Scotia und die Provinz Kanada grundsätzlich auf eine Konföderation und Archibald war einer von sechs Vertretern Nova Scotias, die 1866 an der Londoner Konferenz die Verfassung des neuen Dominion Kanada verabschiedeten, und auch hier war er vor allem an Fragen finanzieller Vereinbarungen für das Dominion beteiligt. 1867, in der ersten kanadischen Regierung unter John Macdonald, wurde er Minister für die Provinzen, in Nova Scotia aber gelang es ihm aber vor allem wegen seiner Förderung des Bundesstaates nicht, in deren neues Parlament gewählt zu werden.