Sharp ble født i Paisley og utdannet på Glasgow Academy og Universitetet i Glasgow som han gikk på i årene 1871 til 1872, men uten å ta noen grad. I 1872 fikk han tyfus. I løpet av 1874–1875 arbeidet han i advokatkontor i Glasgow. Hans helse brøt sammen i 1876 og han ble sendt på sjøreise til Australia i håp om at det ville være helsebringende. I 1878 fikk han en stilling i en bank i London.