Fra 1937 var Kovaljov leder for militærdistriktet Kiev og fra 1938 leder for det belarusiske militærdistrikt. Han var øverstkommanderende for den belarusiske front under Sovjetunionens invasjon av Polen i september 1939. Kovaljov kommanderte også den 15. armé og førte russerne til seier. Såvel som lederskap under vinterkrigen (1939–1940) var han deretter leder av militærdistriktet Kharkov og så intanteriinspektør for Den røde armés kommandant for Transbajkalfronten i 1941.