Počátek Velké vlastenecké války v roce 1941 absolvoval jako velitel různých uskupení na Krymu a na přístupech k němu. Účastnil se obrany obleženého Sevastopolu a poté evakuace Kerče. Za neúspěchy sovětských vojsk na Krymu mu nebyla dávána odpovědnost a převzal velení 3. armády na Brjanském frontu. Souběžně s tím působil i jako zástupce velitele frontu Rokossovského. Ten rozpoznal Batovovi schopnosti a začal jej využívat na exponovaných bojištích. Jmenoval ho velitelem 65. střelecké armády, kterým zůstal až do konce války. 19. listopadu 1942 vedl Batov a jeho armáda úder Donského frontu při obkličovací ofenzivě "Kruh" u Stalingradu. V roce 1943 se v rámci Centrálního frontu účastnila 65. armáda bojů u Kurska, aby se pak po porážce Wehrmachtu stala útočným čelem v následné ofenzívě. Jakou součást 1. běloruského frontu postupovala přes Bělorusko do Polska, jakou součást 2. běloruského frontu bojovala ve východním Prusku a jako součást 3. běloruského frontu tvořila v dubnu 1945 útočné čelo při přechodu Odry a při útoku na Berlín.