Wharton startet karrieren sin i hjembyens klubb, Newcastle United og han spilte der i perioden 1978 til 1989. Han spilte 335 kamper for klubben, før han i 1989 ble solgt til Carlisle United.