Smith spilte i de følgende årene, ved siden av sin fetter George Stephen, en ledende rolle i Britisk Nord-Amerikas omstridte jernbane og hadde en vesentlig andel i Manitobas utbygging av gode jernbaneforbindelser, et livsvilkår for landets løfterike økonomiske utvikling, og det var de to fetternes energi som mer enn noe annet pådrev arbeidet på Canadas første transkontinentale jernbane, som ble ferdigstilt i 1885. Smith forlot parlamentet i 1882, men ble medlem igjen i 1887-96 og var deretter til sin død Canadas høykommissær i London.