С 5 октября по 24 декабря 1941 года — командующий Южным фронтом, войска которого к тому времени проводили Донбасско-Ростовскую стратегическую оборонительную операцию в крайне неблагоприятной ситуации, они вынуждены были оставить Донбасс в ходе в Донбасской оборонительной операции, затем провели Ростовскую оборонительную операция, а 28 ноября 1941 года освободили Ростов-на-Дону в ходе Ростовской наступательной операции, что стало одной из первых крупных побед Красной Армии в 1941 году. С 24 декабря 1941 по 2 апреля 1942 года командовал Брянским фронтом, войска которого участвовали в контрнаступлении под Москвой, освободив Ливны, Верховье, Новосиль, Чернь, Скуратово, Орловку, Горбачёво и ряд других населённых пунктов и выйдя на дальние подступы к Орлу и Брянску. С апреля 1942 года — заместитель командующего войсками Северо-Кавказского направления, затем Северо-Кавказского фронта, с сентября 1942 года — командующий Приморской группой войск Северо-Кавказского фронта и Черноморской группой войск Закавказского фронта, войска которой участвовали в Битве за Кавказ. С 15 октября 1942 по 27 февраля 1943 года командовал 5-й армией Западного фронта, с февраля по апрель был в распоряжении Ставки Верховного Главнокомандования, в апреле-сентябре 1943 года — заместитель командующего Северо-Западным фронтом, с сентября 1943 по январь 1944 года — командующий войсками Харьковского военного округа. С января 1944 — в распоряжении Ставки ВГК, был в распоряжении Военных советов 2-го Белорусского (июнь — декабрь 1944) и 1-го Белорусского (февраль-апрель 1945) фронтов. С 27 апреля 1945 года — командир 7-го стрелкового корпуса, принимавшего непосредственное участие в штурме Берлина.