第20集团军的前身是坚持南方三年游击战争的红军闽东独立师。抗日战争爆发后改编为新四军第3支队第6团,又先后编入江南指挥部和苏北指挥部。1941年1月“皖南事变”后,编为新四军第1师,师长粟裕,政委刘炎。抗日战争胜利后,根据国共“重庆谈判”协议,苏浙地区新四军部队于11月北撤山东,其中一部组成山东野战军第1纵队,司令员叶飞,政治委员赖传珠,下辖第1旅(原苏浙军区第4纵队)、第2旅(原苏中军区教导第1旅)和第3旅(原苏浙军区第2纵队)。纵队成立后,开赴山东作战,属津浦前线指挥部领导。1946年1月,改称山东野战军第1纵队。1947年2月,改编为华东野战军第1纵队,各旅分别改为第1、第2和第3师。5月,作为华东野战军主力,参加孟良崮战役。9月,随陈粟大军挺进豫皖苏,与刘邓、陈谢大军共同经略中原。1948年11月参加淮海战役,全歼敌杜聿明兵团。1949年2月,第1纵队改编为中国人民解放军第20军,属第三野战军第九兵团,军长刘飞,政委陈时夫,各师分别改为第58、第59和第60师。随后参加渡江战役,解放上海后担任上海警卫任务。战后在江浙地区整训,作为解放台湾的战略预备队。朝鲜战争爆发后,第20军于1950年11月在军长兼政委张翼翔率领下入朝参战。在长津湖战斗中,第58师172团3连连长杨根思率领一个排坚守小高岭阵地,顽强阻击敌军的冲击,最后与敌同归于尽,追授特级战斗英雄称号,并被授予“朝鲜民主主义人民共和国英雄”称号。1952年10月第20军回国,驻防浙江湖州,隶属华东军区。1955年1月,第60师与华东军区海、空军共同参加 解放一江山岛战斗,这是解放军历史上第一次三军协同作战的战斗。同年,改属南京军区。1967年8月,第20军军部移防杭州,执行“三支两军”任务。1975年7月,第20军与济南军区的第1军对调驻地,移驻河南省开封市。1979年,58师参加了中越战争。1985年,第20军改编成第20集团军,辖58师、60师和原43军的128师,以及坦克十一师、炮兵旅和高炮旅(59师改编)。1989年,58师和128师至北京参与戒严任务。2008年,四川汶川大地震发生,第20集团军赴四川救灾。2016年2月,集团军隶属关系调整,原济南军区下辖中国人民解放军第20集团军隶属中部战区陆军。