937年），中共山东省委先后组织徂徕山、天福山、黑铁山、泰西等地组织武装起义，陆续开辟胶东、鲁中、鲁西、清河、湖西、鲁南等小范围抗日根据地。民国二十七年（1938年），成立中共中央山东分局，郭洪涛任党委书记。山东各起义部队改编为八路军山东纵队，张经武、王建安任指挥，黎玉为政治委员。民国二十八年（1939年），罗荣桓与陈光率八路军115师师部和主力一部进入山东鲁西地区，参与指挥樊坝战斗、梁山战斗等。同年，山东纵队正式组建为八路军第一纵队，徐向前任司令员，朱瑞任政治委员。各小型抗日根据地合併为山东抗日根据地