1937年5月起任红二方面军教导团团长。
抗日战争时期.抗日战争爆发后，1937年秋起任八路军第120师司令部参谋处处长，师教导团团长。1938年5月，晋西北地区的第714团、警备第6团、独立第1、第2团及雁北第6支队等部编为八路军120师新第358旅，也称彭358旅，彭绍辉为旅长，政治委员罗贵波。1940年春，彭358旅改称独立第2旅，彭绍辉仍任旅长。随后，彭绍辉参与了晋西北夏季反扫荡战役和百团大战，11月起兼任晋西北军区第二军分区司令员。1942年10月入延安中共中央党校学习。