Cole es considerado por muchos críticos y por futbolistas profesionales como uno de los mejores defensores de su generación y por algunos, durante la mejor parte de su carrera, como el mejor lateral izquierdo del mundo. Nacido en el distrito de Stepney en Londres, Cole comenzó su carrera juvenil en el Arsenal FC e hizo su debut para el club en noviembre de 1999, llegando a acumular un total de 228 apariciones, en las cuales marcó 9 goles. Con el Arsenal FC ganó dos títulos de Premier League y tres FA Cups y fue miembro integral del equipo de "Los Invencibles" durante la temporada 2003-04, el cual se mantuvo invicto durante el transcurso de ésta. Cole también hizo su aparición en la primera final de Liga de Campeones del Arsenal FC en 2006, aunque el club fue derrotado 2-1 por el FC Barcelona.