Rafferty ble født 16. april 1947 i en arbeiderklassefamilie av irsk katolsk opprinnelse i Underwood Lane i Paisley. Han var sønn og sønnesønn av kullgruvearbeidere. Han var sønnen til Joseph og Mary (Skeffington) Rafferty. Han hadde to brødre, Jim og Joe (som døde i 1988).