Gemmill fikk sin debut for i 1995. Han ble tatt ut i troppen til EM i 1996, men fikk ikke spille noen kamper. Hans andre og siste turnering kom i 1998 da han av landslagstrener Craig Brown ble tatt ut i den skotske troppen til VM i 1998, men hvor han heller ikke fikk slippe til. Gemmill endte til slutt med 26 landskamper og ett mål for Skottland.