8年毕业后，担任南京国民政府警卫团见习排长。1929年，警卫团扩编为警卫第1旅，黄永淮升任连长。1930年，跟随警卫第1旅前往河南参加中原大战。1932年，所在部队被改编为国民革命军第88师，并参与一二八事变。由于黄永淮作战突出，1933年，升任国民革命军第88师第262旅第524团第3营营长，前往四川丰都县驻扎。1934年，回到南京，并升任第524团团附。1935年，黄永淮被授予中校军衔。1937年8月13日，淞沪会战爆发，由于国民革命军作战失利，第八十八师师长孙元良决定让主力从上海市区撤退，并打算让