Rafferty vokste opp i et hus i byens Ferguslie Park, i Underwood Lane, og ble utdannet ved St. Mirin's Academy. Hans irskfødte far, som var alkoholiker, jobbet som gruvearbeider og lastebilsjåfør og døde da Rafferty var 16 år. Rafferty lærte både irske og skotske folkesanger som ung gutt. Han husker at han hørte disse folkesangene fra han var to eller tre år gammel. Han likte spesielt godt sanger som moren sang for ham, som «She Moves Through the Fair», som han syntes moren sang så vakkert. Det ble sunget en rekke tradisjonelle irske og skotske sanger i familien. Influert av folkemusikk og musikk av The Beatles og Bob Dylan, begynte Rafferty å skrive egne sanger.