Merson skrev under lærlingkontrakt med Arsenal i 1984, og debuterte for klubben 22. november 1986. Han ble straks en av de viktigste spillerne i Arsenals suksessrike lag på 1980- og 1990-tallet. Merson uttalte i 1994 at han var avhengig av gambling, alkohol og kokain, og var fra november 1994 til februar 1995 på et avrusnings-senter. I 1997 ble Merson noe overraskende solgt til Middlesbrough, som da befant seg i nest øverste divisjon, for 5 millioner pund. Dette var rekord for overganger til en engelsk klubb utenfor Premier League. Paul Merson spilte totalt 327 ligakamper og scoret 78 ligamål for Arsenal.