С апреля 1942 года и до конца войны — начальник инженерных войск РККА. Одновременно с апреля 1942 по 20 мая 1943 года являлся заместителем народного комиссара обороны СССР. Кроме постоянной работы по формированию частей инженерных войск и насыщению действующей армии новой инженерной техникой, части лично привлекался на наиболее ответственные участки фронта для решения сложных задач. В 1942 году участвовал в Сталинградской битве, возглавляя строительство оборонительных рубежей под Сталинградом. При прорыве блокады Ленинграда в январе 1943 года координировал действия инженерных войск Ленинградского и Волховского фронтов. Весной и летом 1943 года лично руководил строительством оборонительных рубежей на обоих фасах Курской дуги, на которых в ходе Курской битвы были перемолоты обе ударные группировки врага. В ходе массового наступления советских войск во второй половине войны внёс значительный вклад в инженерное обеспечение форсирования крупных водных преград, особенно в ходе битвы за Днепр. На завершающем этапе войны особенно много делал для развития понтонно-мостовых частей. Быстро пройдя ряд воинских званий, 21 февраля 1944 года стал маршалом инженерных войск — первый военачальник, удостоенный этого высокого воинского звания.