Największy sukces w karierze John Nelson osiągnął w 1899 roku, kiedy zdobył złoty medal w wyścigu za startu zatrzymanego amatorów podczas mistrzostw świata w Montrealu. W zawodach tych wyprzedził bezpośrednio Australijczyka Roberta Goodsona oraz reprezentanta gospodarzy Williama Riddle'a. Był to jednak jedyny medal wywalczony przez Nelsona na międzynarodowej imprezie tej rangi. W 1900 roku przeszedł na zawodowstwo, ale nie zdobył medalu na mistrzostwach świata. Nigdy nie wystartował na igrzyskach olimpijskich.