1972 wurde er überraschend sowjetischer Meister und gewann bei seiner ersten Weltmeisterschaft prompt die Bronzemedaille hinter Ondrej Nepela und Landsmann Sergei Tschetweruchin. Im selben Jahr beendete er seine erste Europameisterschaft als Sechster und seine ersten Olympischen Spiele als Achter. Im Anschluss an die Saison begann er bei Sergei Tschetweruchin zu trainieren. Nachdem er 1973 an keinem Wettbewerb teilnahm und 1974 eine Medaille bei der Europameisterschaft und der Weltmeisterschaft als jeweils Vierter knapp verpasste, holte er 1975 mit dem Gewinn der Europameisterschaft in Kopenhagen seinen ersten großen internationalen Titel. Außerdem wurde er Vize-Weltmeister hinter seinem Landsmann Sergei Wolkow. 1976 wurde er Vize-Europameister, Vize-Weltmeister und olympischer Silbermedaillengewinner, in allen Fällen hinter dem Briten John Curry. Bei den Olympischen Spielen war seine Silbermedaille umstritten, da er trotz Fehlern vor Jan Hoffmann und Toller Cranston landete, was dem Publikum missfiel. 1977 in Tokio errang Kowaljow seinen ersten Weltmeisterschaftstitel knapp vor Jan Hoffmann, dem er sich bei der Europameisterschaft noch geschlagen geben musste. Auch 1978 und 1979 unterlag er Hoffmann bei den Europameisterschaften und musste sich mit Silber begnügen. 1979 in Wien konnte Kowaljow allerdings seinen zweiten Weltmeisterschaftstitel gewinnen, vor Robin Cousins und Jan Hoffmann. 1980 errang er noch einmal Bronze bei der Europameisterschaft, gab aber bei den Olympischen Spielen, nachdem er Fünfter nach der Pflicht war, auf. Offizieller Grund war Krankheit; angeblich wurde er von sowjetischen Offiziellen aufgrund seiner schlechten Konstitution gezwungen, aufzugeben.