Vanaf 1937 was Kovaljov commandant van het Kiev militaire district, en vanaf 1938 van het Wit-Russische militaire district. Hij was commandant van het Wit-Russische front tijdens de Sovjet-aanval op Polen in september 1939. Kovaljov was ook commandant van het 15e Leger ("15-я армия"), en leidde de Russen naar de overwinning. Hij was ook een van de commandanten tijdens de Winteroorlog. Kovaljov was commandant van het militaire district Charkov, waarna hij als inspecteur van de infanterie voor de bevelhebber van het Rode Leger tijdens het Transbaikalfront in 1941 werkte.