На драфте НХЛ 1991 года был выбран в 1 раунде под общим 15 номером клубом «Нью-Йорк Рейнджерс» (Ковалёв стал первым россиянином, задрафтованным в первом раунде). 25 ноября 1998 года обменян в «Питтсбург Пингвинз». 10 февраля 2003 года обменян в «Нью-Йорк Рейнджерс». 2 марта 2004 года обменян в «Монреаль Канадиенс». 6 июля 2009 года подписан на два года в «Оттава Сенаторз». 25 февраля 2011 года Ковалёв обменян «Оттавой» в «Питтсбург» на условный драфт-пик в седьмом раунде. Таким образом, 38-летний Ковалёв вернулся в клуб, за который выступал с 1998 по 2003 год.