Stevenson gikk på den videregående skolen Balwearie High School i Kirkcaldy, og spilte samtidig for ungdomslaget til St. Johnstone i Perth. Han har spilt både som venstreback og venstrekant på midtbanen. Han fikk sin førstelagsdebut for Hibernian i en 2–1-seier over Ayr United i den skotske ligacupen i september 2005, men det tok tid før han fikk sin første kamp i SPL. Hans første kamp i ligaen kom på åpningsdagen av 2006-2007-sesongen. Stevenson ble fast på førstelaget under manager John Collins, og han ble utnevnt til banens beste spiller i ligacupfinaleseieren over Kilmarnock (5-1) i mars 2007.