十一师、第六十二师、第六十三师。随后参加渡江战役，属中集团。先后攻占南京、上海、武汉、杭州、温州、宁波、象山等地。其中，1949年5月参加上海战役。
中华人民共和国成立后.1950年，该军在第二十二军配合下，进行舟山战役，攻克舟山群岛，从而打破了上海遭封锁的局面。1953年3月，入朝鲜作战，参加朝鲜战争中的金城反击战，朝鲜停战后长期留守朝鲜，1958年7月回国。自朝鲜回国后，第二十一军属北京军区，军部驻山西省大同市。1967年，第二十一军奉命西迁，改属兰州军区，军部改驻陕西省宝鸡市