曾涉足工矿业，在开滦矿务局担任职员。1924年春，经张家瑞（字席卿，时任黄埔军校校长办公室中文秘书，少校军衔）保荐，投考黄埔军校。1924年5月至广州，考取黄埔军校，入黄埔第一期第三队学习。毕业后，留校任职，担任黄埔军校校长办公厅副官。蒋中正奉孙中山之命东征讨伐陈炯明叛变，蒋国涛担任东征军总指挥部秘书处秘书。之后担任国民革命军总司令部秘书处副官（少校军衔）。曾先后参加两次东征和北伐。1928年起，先后担任陆海空军总司令部副官处副官（中校军衔），国民政府军事委员会委员长侍从室第四组参谋，南京黄埔同