Fisher blieb Abgeordneter im Parlament von New Brunswick. 1864 war er Delegierter an der Québec-Konferenz, bei der über die Vereinigung der Kolonien in Britisch-Nordamerika zu einem föderalen Bundesstaat verhandelt wurde. Die Befürworter der Kanadischen Konföderation erlitten bei der Wahl von 1865 eine empfindliche Niederlage, sowohl Tilley als auch Fisher verloren ihr Parlamentsmandat. Doch die Anti-Konföderationisten um Albert James Smith verspielten bald das Vertrauen der Wählerschaft. Ende 1865 gewann Fisher eine Nachwahl und es gelang ihm, die Vereinigungsbewegung wiederzubeleben. In Peter Mitchells Regierung war er ab April 1866 als Attorney General vertreten. Er nahm im Dezember 1866 an der Londoner Konferenz teil, um die letzten verfassungsrechtlichen Fragen des neu zu gründenden Staates Kanada zu klären.