Joe Harper spilte første gang for Skottland mot Danmark i oktober 1972, der han scoret ett mål i sin debut i 4-1-seieren. Han spilte også i Skottlands neste kamp, men ble så vraket fra de neste landslagssamlingene, og fikk bare med seg én landskamp igjen i 1975. Ved ren tilfeldighet dreide det seg om en ny kamp mot Danmark, men det hele ble overskygget av en kontroversiell utenomsportslig episode, da Harper og flere lagkamerater deltok i smadringen av en nattklubb i København etter seieren. Det skotske fotballforbundet ila Joe Harper, Billy Bremner og de andre bråkebøttene livslange utestengelser fra landslaget. Straffen ble senere formildet noe, og Joe Harper ble uttatt igjen til Skottlands spill i VM 1978, og han spilte kampen mot Iran, da Skottland røk ut av første runde. Totalt fikk Harper med seg fire A-landslagskamper og to mål.