Han startet karrieren ved Dumbarton før han skrev under for Everton FC for 120 000 pund i 1980. Totalt scoret Sharp 159 mål på 426 kamper for Everton, hvilket gjør ham til klubbens beste målscorer etter annen verdenskrig. Han var med på å bli ligamester i 1985 og 1987, i tillegg til å vinne FA-cupen i 1984 (hvor han scoret i finalen) og Cupvinnercupen i 1985.