是蒋中正的侄子。娶桂幼玲为妻。而桂是蒋中正原配夫人毛福梅养女。堂弟蒋孝先。家中祖辈务农为业。早年毕业于家乡溪口镇高等小学，奉化县立中学。后在家乡溪口镇高等小学担任教师。不久后赴宁波城里经商。曾涉足工矿业，在开滦矿务局担任职员。1924年春，经张家瑞（字席卿，时任黄埔军校校长办公室中文秘书，少校军衔）保荐，投考黄埔军校。1924年5月至广州，考取黄埔军校，入黄埔第一期第三队学习。毕业后，留校任职，担任黄埔军校校长办公厅副官。蒋中正奉孙中山之命东征讨伐陈炯明叛变，蒋国涛担任东征军总指挥部秘书处秘书