Duffy ble født i Glasgow, og vokste opp i Maryhill-området i byen, der han bl.a. var barndomsvenn med Charlie Nicholas. Som Nicholas begynte også Duffy seniorkarrieren sin hos Celtic. Duffy kunne imidlertid ikke følge sin venn inn på førstelaget til Celtic, og meldte derfor overgang til Greenock Morton. Karrieren hans hadde en positiv utvikling der, og i 1985 ble han utnevnt til årets spiller av Scottish PFA Players, selv om Morton rykket ned.