湖南省立长沙中学毕业。1924年，考入黄埔军校第一期步科。1925年1月，任教导第一团侦探队中尉排长，参加第一、二次东征和回师广州各战役，颇着战绩。1926年9月，升任教导第一团第三营少校营长，驻军潮州。1927年至1928年，参加国民革命军北伐，军次龙潭、凤阳、蚌埠、徐州、滕县、济南等战役。北伐完成后，参与西征。1930年，参加中原大战，时任第一师第二旅少将旅长。7月11日深夜，敌军突破防线，情势紧急，蒋坚持在柳河车站指挥。黄杰奉蒋中正电话指挥，率所部3个团轻装急进，收复李坝集，挽回危局，厥功至伟，