Kovaliov fue el comandante del Distrito Militar de Kiev desde 1937 hasta 1938, momento en que pasó a hacerse cargo del Distrito Militar de Bielorrusia. Fue el comandante del Frente de Bielorrusia durante la Invasión soviética de Polonia de 1939. Posteriormente ejerció de comandante del 15º ejército de la Unión Soviética durante la Guerra de Invierno (1939 - 1940). Fue comandante del Distrito Militar de Járkov, y posteriormente Inspector de Infantería para el Comandante del Ejército Rojo en el Frente de Transbaikal durante 1941.