Kovaljov kom fra en bondefamilie. I 1915 gikk han inn i den russiske hær. Etter skolegang på en praporsjtsjikskole kjempet han i første verdenskrig som befal for en tropp , et kompani og så en bataljon. Da oktoberrevolusjonen fant sted var han stabskaptein. Under den russiske borgerkrig kommanderte han et regiment og så en brigade i Den røde armé i kamper mot Denikins hvite hærstyrker, mot Wrangel og mot Aleksandr Antonovs bondeoppstand - tambonopprøret.