I mai 1994 scoret Smith seiersmålet i finalen i Cupvinnercupen mot den italienske klubben Parma FC og ble Arsenals toppscorer i fire sesonger på rad, til tross for konkurranse fra blant andre Ian Wright og Kevin Campbell. I juli 1995 la han opp som aktiv fotballspiller grunnet en ankelskade som hadde hemmet ham de siste to sesongene. På hans åtte sesonger i Arsenal scoret han 115 mål på 347 kamper, og i på samme antall kamper fikk han kun ett gult kort.