黑铁山、泰西等地组织武装起义，陆续开辟胶东、鲁中、鲁西、清河、湖西、鲁南等小范围抗日根据地。1938年，成立中共中央山东分局，郭洪涛任党委书记。山东各起义部队改编为八路军山东纵队，张经武、王建安任指挥，黎玉为政治委员。1939年，罗荣桓与陈光率八路军115师师部和主力一部进入山东鲁西地区，参与指挥樊坝战斗、梁山战斗等。1939年，山东纵队正式组建为八路军第一纵队，徐向前任司令员，朱瑞任政治委员。各小型抗日根据地合并为山东抗日根据地。1945年，罗荣桓指挥部队在山东进行大反攻，控制山东境内的津浦铁路、胶济