遭部将刘悟发动兵变斩杀，淄青节度使一分为三。后历经五代十国的后梁、后唐、后晋、后汉、后周五个短暂政权。北宋时期，山东的经济得到恢复并快速发展，宋徽宗宣和元年到宣和二年（1119年—1120年）宋江聚众三十六人在梁山造反，这个故事被写进《水浒传》。南宋建炎年间，山东全境沦于金国。13世纪初，蒙古人入侵金朝，山东农民纷纷起兵，有益都的杨安儿、潍州的李全、沂蒙山的刘二祖、郝定等。到元世祖至元十三年（1276年），山东只有126万人、38万户。明太祖洪武年间设立山东省（包括辽东），由于当时「多是无人之地」，