Rafferty sluttet på St Mirin's Academy i 1963. Han begynte da å arbeide hos en slakter og etter hvert i en skobutikk. Men han har forklart at det for han ikke var noe annet interessant enn musikk og at han ikke hadde noen planer om en karriere annet innen musikk. I helgene spilte han og klassekameraten Joe Egan, og etter hvert medlem i Stealers Wheel, i et lokalt band med navnet the Maverix. Bandet spilte for det meste låter av the Beatles og the Rolling Stones. I 1966, ble Rafferty og Egan medlemmer av bandet "The Fifth Column". Bandet gav ut en singel, «Benjamin Day»/«There's Nobody Here» (Columbia 8068), men den ble ingen kommersiell suksess.