华中野战军第九纵队一部合编为华东野战军第二纵队，韦国清任司令员兼政治委员，张震任副司令员。原第四旅、第九旅分别改为第四师、第六师，原第九纵队部队编为第五师。1948年2月，第二纵队奉命南下华中，参与宿北战役。随后参加莱芜战役、孟良崮战役、淮海战役，围歼黄百韬兵团并活捉杜聿明。1949年2月，第二纵队改编为中国人民解放军第二十一军，军长滕海清，政治委员康志强，属中国人民解放军第三野战军第七兵团，各师分别改称第六十一师、第六十二师、第六十三师。随后参加渡江战役，属中集团。先后攻占南京、上海、武汉、杭州、温州