В августе 1942 года был назначен на должность командующего 64-й армией (вместо В. Н. Гордова), которая около месяца сдерживала 4-ю танковую армию под командованием Германа Гота на дальних подступах к Сталинграду, благодаря чему промышленные предприятия, расположенные на юге города, продолжали работать. Шесть месяцев армия Шумилова в жесточайших боях удерживала южную часть Сталинграда, сыграв выдающуюся роль в героической обороне города наряду с 62-й армией генерала В. И. Чуйкова.