Благодаря череде удачных выступлений Ковалёв удостоился права защищать честь страны на летних Олимпийских играх 2004 года в Афинах, но попасть здесь в число призёров не смог — проиграл титулованному кубинцу Гильермо Ригондо, который в итоге и стал победителем этого олимпийского турнира. Также в этом сезоне Ковалёв одержал победу на чемпионате Европы в Пуле.