1924年,前往浙江湖州参加别动队,与王亚樵结拜为金兰兄弟。别动队解散后,得在上海做毛竹生意的同学章云家长资助,到广东投考黄埔军校,因其身高不足1.6米, 体格检查时被淘汰,经军校党代表廖仲恺特许参加考试4月被录取;5月5日入校,编在第1期第2大队第4分队;6月16日正式开学,此间结识了“同乡”蒋介石;11月于黄埔军校毕业后,胡宗南被分配在军校教导第1团第3营第8连任少尉见习。1925年2月,调任机枪连中尉排长;3月参加第一次东征棉湖战役,因功升机枪连上尉连长,4月任第1师第2团第2营营副;6月参加讨伐杨刘叛乱;10月参加第2次东征河婆战役。1926年初升任第1军(何应钦)教导师第2团(团长胡公冕为共产党员)第2营营长;7月把同乡戴笠推荐给蒋介石,胡宗南在胡公冕的推荐下,升任教导师第2团上校团长,参加北伐战争;同月,参加了北伐战争,任第一师团长。10月,胡宗南在南昌城郊使用火攻计,以1个团的兵力打败孙传芳1个精锐师,俘虏军长李彦春等;11月教导师改为第1军第1师,隶属东路军(何应钦)序列,进军浙江。1927年3月20日攻克上海;5月任第1军第1师少将副师长兼第2团团长,成为国民党黄埔系学生的第1个将军;8月从杭州飞驰南京参加龙潭战役;10月26日,胡宗南升任第1军(刘峙)第22师师长;11月击毁直鲁联军白俄雇佣兵装甲车队。1928年4月参加第二期北伐。8月第22师缩编为第1师第2旅,任旅长,11月所部在蒋介石校阅中因训练成绩突出,被评为“模范旅”。1928年4月参加第二次北伐,一举攻占蚌埠;5月1日进济南,5日撤退到曲阜整训;10月第1军第22师整编为陆军第1师(刘峙)第2旅,胡宗南任少将旅长;11月蒋介石亲临徐州校阅第1师,第2旅被誉为“模范旅”,其第3团受阅成绩列全国陆军第一。1929年3月蒋桂战争爆发,胡宗南率军警戒武汉,第2旅改成第1旅,胡宗南仍任旅长。1930年5月参加中原大战,在河南开封附近与反蒋部队作战,6月7日胡宗南任第1师代理师长,沿陇海路迎击西北军孙良诚部。1930年率部参加蒋冯阎战争,战后任第1师师长。1931年1月13日,胡宗南升任第1师中将师长,开始建立自己的军事体系,形成黄埔系“少壮派集团”;7月参加讨伐石友三。1932年3月,胡宗南、贺衷寒、戴笠、康泽等参与组织“力行社”和“复兴社”,胡宗南居蒋介石“十三太保”之首,以黄埔系“太子”自诩;5月参加“围剿”大别山的红4方面军,胡宗南乘红军兵力分散之际,将红军第10师和第12师拦截包围于河口镇以东地区,红军伤亡很大,6月红4方面军向西北突围时,胡宗南等几十万大军尾追拦截,与杨虎城部将红军压缩在漫川关,徐向前、许世友等几经拼杀才突出重围,不久率领第1师进入甘南布防。1935年2月任“剿匪”第3路第2纵队司令官;4月9日叙任陆军中将;6月积极参加拦截围攻长征红军,在松潘差点被活捉,部队伤亡过半;9月任“西北剿匪”第1路军第2纵队司令,在川西北地区阻击红军;11月22日当选为国民党第5届中央监察委员,标志着黄埔系的势力开始进入中央决策机构。1936年4月21日,行政院任命胡宗南为第1军军长,兼第一师师长,进攻陕北红军,彭德怀率领红军迎击,大败胡宗南;12月12日“西安事变”爆发,胡宗南正在陕西惠安堡附近,得知蒋介石被扣的消息后,旋即赶到天水,支持戴笠赴西安营救蒋介石。1937年2月第1军开赴陕西凤翔,受顾祝同指挥,向西安施加军事压力;4月24日辞第1师师长。7月7日抗战爆发,9月2日胡宗南率部参加淞沪会战,13日升任第17军团军团长,是黄埔学生中第1个军团长,由于第1军仓促上阵,两度参战部队损失很大;11月6日第17军团撤出战斗;12月回关中。1938年5月12日辞第1军军长,参加开封会战,指挥部下攻打兰封外围,扫清了通往城内的道路,但土肥原第14师团仍突围而去;6月18日兼任第27军军长;9月1日胡宗南辞军长,支援武汉会战,占领信阳,日军反攻信阳时,留守的团长马载文临阵脱逃,导致信阳失守,乃撤回西安。1939年1月14日任第34集团军副总司令;8月4日任第34集团军总司令,成为黄埔系学生的第1个集团军总司令;12月,胡宗南受蒋介石指使,集结部队准备向延安进攻。1940年1月,蒋介石掀起第一次反共高潮,胡宗南奉命在空军的配合下,向陕甘宁边区纵深进犯,蚕食5个县,并公开喊出“消灭边区”的口号,严密封锁,构筑了一条长达700余里的由碉堡、工事组成的封锁线。1942年7月23日,胡宗南升任第8战区(朱绍良)副司令长官兼第34集团军总司令,掌握第8战区实权,屯兵西北,封锁、侵犯陕甘宁边区,号称“西北王”。1943年7月,胡宗南曾密谋突袭延安,被胡宗南的机要秘书、地下党员熊向晖暴露而作罢。