，李聚奎任129师青年抗日游击纵队政治委员，改造投奔八路军的段海洲部。后任鲁西北先遣纵队司令员兼政治委员，指挥莘县战斗，在鲁西北开辟根据地。1940年，李聚奎任山西青年抗敌决死队第一纵队副司令员，参与百团大战。1942年，决死队1纵队改称1旅，任旅长兼太岳军区第一军分区司令员，参与沁源围困战。1944年，李被调回延安，入中共中央党校学习。抗战胜利后，李聚奎任冀热辽军区参谋长，指挥古北口保卫战。1946年1月，任北平军事调处执行部执行处副处长，12月调东北。1947年初，任西满军区参谋长，参与三下江南战役