1939年9月成立了隶属于国防人民委员的供给部，赫鲁廖夫回到中央，担任供给部主任。不久的苏芬战争暴露了苏军在后勤方面的诸多缺陷，促使供给部最终改组成军需部，赫鲁廖夫任军需部部长，授军需勤务中将衔。这段时间，赫鲁廖夫利用有限的时间提高了苏军的后勤保障情况。1941年6月苏德战争爆发后，赫鲁廖夫出任副国防人民委员兼工农红军后勤部长。为了更好的组织后方的物资运往前线，1942年3月25日—1943年他还兼任交通人民委员，接替了卡冈诺维奇。1943年6月获大将军衔。战争期间，对发展和完善作战部队的后勤保障做出了重大贡献，善于统一和集中使用后方力量及各种运输手段，对陆海军提供不间断的物质技术保障。