Con el Arsenal, ganó la Premier League en dos ocasiones (en 2002 y 2004) y la FA Cup en tres ocasiones (en 2002, 2003 y 2005, marcando en la tanda de penales en este último). Aunque estuvo lesionado la mayor parte de la temporada 2005-06, se recuperó a tiempo para jugar en la derrota del Arsenal en la final de Liga de Campeones contra el FC Barcelona al final de la temporada. En total, Cole jugó 228 partidos con el primer equipo del Arsenal, marcando 9 goles.