Gemmill startet sin fotballkarriere som lærling hos Nottingham Forest i 1987, og i 1990 ble han tilbudt en profesjonell kontrakt av Forest-manager Brian Clough. Han fikk sin førstelagsdebut i mars 1991 i en seriekamp mot Wimbledon og etablerte seg siden fast på førstelaget under 1991/1992-sesongen, hvor han scoret åtte mål på 39 seriekamper. Han fikk over 245 seriekamper for Forest frem til mars 1999, da han ble solgt til Everton for 250 000 pund.