Năm 1937, Kovalyov lần lượt là chỉ huy của Quân khu Kiev, rồi từ năm 1938, là chỉ huy của Quân khu Belarussia. Ông cũng là chỉ huy của Phương diện quân Belorussia trong cuộc xâm chiếm Ba Lan vào tháng 9 năm 1939. Ông cũng là một trong những chỉ huy Hồng quân trong Chiến tranh Mùa đông (1939-1940). Ông là chỉ huy của Quân khu Kharkov, sau đó là Thanh tra Bộ binh cho Tư lệnh Hồng quân của Phương diện quân Zabaikal trong năm 1941.