Čerstvě vystudovaný Kovaljov nastoupil do carské armády roku 1915 a zapojil se jako praporčík do bojů první světové války. Během Říjnové revoluce byl štábním kapitánem. Během Ruské občanské války velel pluku Rudé armády proti Bělogvardějcům a během Tambovského povstání proti vzbouřeným rolníkům. Od května v roce 1932 do června roku 1936 velel 9. střeleckému sboru.