Som ungdom gikk Levein på Inverkeithing High School, der han spilte på fotballaget sammen med den fremtidige skotske landslagsspilleren Gordon Durie. I hans tidlige fotballkarriere spilte han for Dalgety Bay, Leven Royals og Inverkeithing U16. Som 15-åring gav han imidlertid opp fotballkarrieren i ett år, og startet bare opp igjen da hans bror, som spilte for juniorlaget Lochore Welfare, inviterte ham til å trene der. Deretter signerte Levein for Lochore, og etter prøvespill for flere seniorlag sluttet han seg omsider til Cowdenbeath i 1981.