I den første tid av den tyske hærs invasjon kjempet Rodimtsev bl.a. i slaget ved Kiev, og i 1941 fikk han kommandoen over den 13. gardegeværdivisjon i den 62. armé.