W reprezentacji Szkocji Gemmill zadebiutował 21 maja 1995 roku w zremisowanym 0:0 spotkaniu Kirin Cup z Japonią. W 1996 roku znalazł się w kadrze Szkotów na Euro 96, ale nie zagrał w żadnym spotkaniu. W 1998 roku został powołany przez Craiga Browna do kadry na mundial we Francji i podobnie jak na turnieju w Anglii przed dwoma laty także nie wystąpił w żadnym z meczów. Ostatni mecz w drużynie narodowej rozegrał w kwietniu 2003 przeciwko Austrii (0:2). Łącznie zagrał w niej 25 razy i zdobył 1 gola.