南昌起义部队南撤阻击不力，蒋介石下令撤销第九军番号，将其缩编为第十二师。第九军番号第二次撤销。1927年9月，第三师、第十四师、第二十一师合编为第九军，顾祝同任军长，卫立煌任副军长。下辖第三师，师长顾祝同兼；第十四师，师长卫立煌兼；第二十一师，师长陈继承。12月，该军编成后，参加第二次北伐，在安徽三界打败孙传芳部守军，佔领凤阳后，先后攻克徐州、台儿庄、济南等。1928年7月25日，该军第三师、第十四师与国民革命军第十七军第二师缩编为国民革命军第二师。顾祝同任师长，下辖第四旅、第五旅、第六旅。第二十一师与