Murray startet sin karriere med Hibs, og han var kaptein for klubben i 2004–2005-sesongen, etter at Grant Brebner forlot klubben. Murray signerte for Rangers på en fri overgang i 2005, men han ble plaget med flere skader i løpet av sin tid med klubben fra Ibrox, og Murray ble til slutt diagnostisert med en form for leddgikt. Han ble frigitt av Rangers i august 2007 og signerte for Norwich City, men ble satt ut av laget etter et managerskifte. Han returnerte til Hibs i januar 2008, og han ble gjort til visekaptein for laget i juli 2009.