Gemmill tilbragte størstedelen af sin karriere i England, hvor han blandt andet repræsenterede både Derby County og Nottingham Forest. Han opnåede stor succes med begge klubber og vandt med Derby blandt andet to engelske mesterskaber og med Forest ét mesterskab samt Mesterholdenes Europa Cup i 1979.