Davis' carrière bij Arsenal startte toen hij 18 was, in 1980. Hij sloot zich reeds aan bij de jeugdacademie van de club in 1977. Davis debuteerde tegen Tottenham Hotspur in 1980 en werkte zich in geen tijd op tot een onmisbare schakel op het middenveld. Onder leiding van George Graham veroverde hij met Arsenal twee keer de Engelse landstitel, destijds nog First Division geheten, in 1989 en 1991. Zijn eerste landskampioenschap met Arsenal in 1989 was een dubbeltje op zijn kant, omdat concurrent Liverpool tot en met de laatste speeldag een beter doelsaldo kon voorleggen. Beide teams ontmoetten elkaar op de slotspeeldag en Arsenal was verplicht om twee doelpunten meer te scoren dan Liverpool. Alan Smith en (vooral) Michael Thomas zorgden voor een stunt en Arsenal werd voor het eerst in 18 jaar Engels landskampioen. Davis pakte tevens een dubbel met Arsenal. In 1993 werd Sheffield Wednesday opzij gezet in zowel de finale van de League Cup als de finale van de FA Cup. Davis speelde beide finales, waarvan de laatste over twee wedstrijden omdat er oorspronkelijk geen winnaar was. Een jaar na de dubbel won Davis met de club ook de UEFA Beker voor Bekerwinnaars tegen het Italiaanse AC Parma. Opnieuw was het Alan Smith, jarenlang de Engelstalige commentator bij de "FIFA"-computerspellenreeks, die voor het enige doelpunt zorgde. Davis speelde de hele wedstrijd aan de zijde van de piepjonge Ian Selley, de jongste speler in de finale ooit, centraal op het middenveld. Davis verliet Arsenal in 1995 op 33-jarige leeftijd, na 15 seizoenen en 446 competitiewedstrijden waarin hij 30 keer scoorde voor "The Gunners".