Gennadi Kowaljow kam erst spät zum Sport, er begann seine Karriere als Langläufer und wechselte erst danach zum Biathlon. Zu Beginn der 1970er Jahre gehörte er zu den stärksten sowjetischen Biathleten und war von 1970 bis 1975 Mitglied des sowjetischen Nationalkaders. Er wurde für die Olympischen Winterspiele 1972 in Sapporo nominiert, war aber nur Ersatzläufer und kam nicht zum Einsatz. Mit der sowjetischen Staffel in der Besetzung Tichonow, Safin, Kolmakow und Kowaljow als Schlussläufer gewann er den Weltmeistertitel bei den Biathlon-Weltmeisterschaften 1973. Den größten Einzelerfolg seiner Karriere feierte er ebenfalls 1973 in Lake Placid als Vizeweltmeister hinter seinem Landsmann Alexander Tichonow im 20-km-Wettbewerb. 1975 sicherte sich Kowaljow den Staffeltitel bei den sowjetischen Meisterschaften. Daneben gewann er 1976 und 1977 den UdSSR-Cup, war viermal Meister der sowjetischen Streitkräfte und fünffacher Heeresmeister.