I mars 1987 meldte han overgang til Arsenal FC og manager George Graham for 850 000 pund, og sesongen etter var han med på å vinne seriemesterskapet 1988/1989 og samtidig ble han også divisjonens toppscorer med 22 seriemål. Denne bragden gjentok seg også i 1990/1991-sesongen, da Arsenal vant sitt tiende seriemesterskap og Smith ble divisjonens toppscorer med 22 seriemål. 1993-sesongen ble også vellykket for Arsenal sin del, til tross for at de ikke klarte å sikre seg seriemesterskapet. Arsenal vant finalene i både FA-cupen og ligacupen over Sheffield Wednesday FC, men uten Smith på banen i den sistnevnte finalen.