Koval'čuk ha giocato per undici stagioni nella National Hockey League vestendo le maglie degli Atlanta Thrashers e dei New Jersey Devils. Fu selezionato in prima posizione assoluta nel Draft 2001 dagli Atlanta Thrashers, esordendo nella stagione 2001-02 con una nomination al Calder Memorial Trophy come miglior rookie della lega. Fu tre volte NHL All-Star e vinse un Maurice Richard Trophy per il maggior numero di reti messe a segno nel 2004. Dopo otto stagioni con i Thrashers nel febbraio del 2010 si trasferì ai Devils, con un contratto record valido per 15 stagioni. Dopo i mesi trascorsi con lo SKA San Pietroburgo durante il lockout nell'estate del 2013 scelse all'improvviso di ritornare in patria per trascorrere più tempo con la propria famiglia.