Fra 1937 var Kovaljov leder for militærdistriktet Kiev og fra 1938 leder for det hviterussiske militærdistrikt. Han var øverstkommanderende for den hviterussiske front under Sovjetunionens invasjon av Polen i september 1939. Kovaljov kommanderte også den 15. armé og førte russerne til seier. Såvel som lederskap under vinterkrigen (1939–1940) var han deretter leder av militærdistriktet Kharkov  og så intanteriinspektør for Den røde armés kommandant for Transbajkalfronten i 1941.