年5月，晋西北地区的第714团、警备第6团、独立第1、第2团及雁北第6支队等部编为八路军120师新第358旅，也称彭358旅，彭绍辉为旅长，政治委员罗贵波。1940年春，彭358旅改称独立第2旅，彭绍辉仍任旅长。随后，彭绍辉参与了晋西北夏季反扫荡战役和百团大战，11月起兼任晋西北军区第二军分区司令员。1942年10月入延安中共中央党校学习。1943年3月至1945年秋任抗日军政大学副校长，1943年秋起兼任抗日军政大学第七分校校长。
第二次国共内战时期.抗战胜利后，彭绍辉任吕梁军区