1927年5月，第二军扩编，其下属部队一部分成为国民革命军第十四军的基础。军长谭延闿卸职，由鲁涤平升任；鲁涤平的副军长职则由第四师师长张辉瓒接任，并增设秘书长简易。在十四军成立后，第二军编制为第四师（师长王俊捷）；第六师（师长戴岳）；第二十三师，（师长朱耀华）。1928年10月8日，宁汉合流后，第二军缩编为国民革命军第十八师，张辉瓒任副师长。
第二次编组：杂牌部队.1929年3月2日，南京国民政府以国民革命军第八师（贺耀祖系统下的国民革命军第四十军缩编改组）、第十三师（夏斗寅系统下