Kovalenko commence sa carrière dans la deuxième division d'URSS. L'année suivante, il rejoint le CSKA Moscou dans la première division, équipe avec laquelle il joue quatre saisons et remporte le titre de champion en 1989. Repêché en 1990 par les Nordiques de Québec, il rejoint la Ligue nationale de hockey en 1992.