Joe Harper startet sin fotballkarriere i hjembyens klubb Greenock Morton, og han returnerte senere også til hjemklubben, etter et kort og ufruktbart opphold hos Huddersfield Town. Han hadde til tider et anstrengt forhold til noen av Morton-supporterne, men de fleste supporterne anerkjente Harpers talent og entusiasme som spiss.