Er war der Sohn des Politikers Charles Tupper, des späteren Premierministers der Provinz Nova Scotia und Kanadas. Den Namen erhielt er zu Ehren von James William Johnston, dem Mentor des Vaters und ebenfalls Regierungschef von Nova Scotia. Tupper absolvierte das renommierte Upper Canada College und studierte Recht an der Harvard University. Er kehrte 1885 nach Halifax zurück und erhielt die Zulassung als Rechtsanwalt. Im selben Jahr diente er während der Niederschlagung der Nordwest-Rebellion als Soldat.