Mijaíl Kovaliov nació en una familia campesina en la stanitsa Briujovétskaya, Krai de Krasnodar. En 1915, se alistó en el Ejército Ruso. Tras graduarse en la escuela de Práporshchiks, Kovaliov luchó en la Primera Guerra Mundial, en la que comandó sucesivamente un pelotón (polurota), una compañía, y finalmente un batallón. Al estallar la Revolución de Octubre ostentaba el rango de capitán, y durante la posterior Guerra Civil Rusa alcanzó en el Ejército Rojo el mando de un regimiento, y posteriormente una brigada. Combatió contra los Rusos Blancos de Antón Denikin, Piotr Wrangel y la rebelión campesina de Tambov liderada por Aleksandr Antónov.