Som ung spiller ble han svært kjent, da han skåret 7 av 8 mål i en ungdomslandskamp mot i samme kamp. Cole er et produkt av ungdomsystemet til West Ham United. Under oppholdet i West Ham United ble han sett på som et av tidenes største talenter i engelsk fotball, og Manchester United forsøkte å sikre seg ungutten for ti millioner pund, men Cole takket nei. Han rykket raskt oppover i gradene i klubben, før han debuterte på førstelaget 17 år gammel. Cole skrev under på sin første profesjonelle kontrakt med West Ham United den 11. desember 1998. I 1999 var han del av laget som vant FA Youth Cup for West Ham, sammen med bl.a. Michael Carrick), da de slo ungdomslaget til Coventry City 9–0 sammenlagt i finalespillet. I januar 2003 ga daværende manager Glenn Roeder kapteinsrollen til Cole, bare 21 år gammel. Klubben rykket ned fra Premier League på slutten av 2002-03 sesongen. Cole ble tildelt prisen «Hammer of the Year award» for 2003.