Když nacistické Německo napadlo v roce 1941 Sovětský svaz, ve věku 33 let jej Stalin jmenoval do funkce lidového komisaře (ministra) pro otázky vyzbrojování. Z této pozice byl zodpovědný za masivní evakuaci obranného průmyslu z obleženého Leningradu na východ za Ural (bylo evakuováno více než 80 vojenských průmyslových podniků, jež dohromady zaměstnávaly více než 600 tisíc lidí), za což byl poprvé jmenován "Hrdinou socialistické práce". Sehrál také klíčovou roli při přenosu německého válečného raketového programu do Sovětského svazu, kde se stal základem sovětské kosmonautiky.