Donnelly startet sin fotballkarriere hos Queen's Park i 1992, men klarte ikke å spille seg inn på førstelaget. I 1993 dro han videre til Celtic, hvor han fikk sin endelige seriedebut mot slutten av 1993/1994-seseongen i en kamp mot Hibernian. Donnelly spilte seg omsider inn til fast førstelagsplass under 1995/1996-sesongen, hvor han bare gikk glipp av én seriekamp for Celtic.