Zes jaar na zijn komst bij Leeds, in 1996, verkaste de Schots international naar Coventry City. Zeven maanden voor zijn komst scoorde hij nog namens Leeds driemaal tegen Coventry (einduitslag 3–1). Bij deze club had Gordon Strachan, oud-teamgenoot van McAllister bij Leeds, de touwtjes in handen. In het eerste seizoen van de Schotse middenvelder bij Coventry ontsnapte de club ternauwernood aan degradatie. Vanaf het seizoen 1997/98 vormde McAllister een duo met George Boateng op het middenveld en de drie seizoenen daarna eindigde Coventry hoger dan in het eerste seizoen. In de jaargang 1999/00 kwam McAllister op zesendertigjarige leeftijd tot elf doelpunten in de Premier League. Dit leverde hem een transfer naar Liverpool op. De Schot speelde twee seizoenen bij "The Reds" en in die seizoenen won hij zes prijzen met de club. In 2001 werd in de finale van de UEFA Cup na verlenging met 5–4 gewonnen van Deportivo Alavés. McAllister speelde het gehele duel mee als rechtermiddenvelder. In de veertigste minuut scoorde hij uit een strafschop en naderhand werd hij verkozen tot man van de wedstrijd.