1916年(民国5年),参加中华革命党。
1919年秋天,余汉谋从保定陆军军官学校毕业后,被分配到皖系军队任少尉排长,从此步入军界,开始了他长达几十年的戎马生涯。
1920年,余汉谋回到广东,在粤军第三师任连长。在上司的指挥下,率部参加了讨伐桂军陆荣延的战役。平定两广后,余汉谋升任少校营长。
1922年6月16日,余汉谋所在的粤军,受总司令陈炯明的指使,对孙中山的革命政府发动了军事政变。由于余汉谋当时只是中下层军官,他有没有参加军事政变都不是主要的,因为他没有主动参与的动机。1923年1月陈炯明兵败离开广州,7月余汉谋调升粤军第一师第二旅中校主任参谋,应该说余汉谋是忠于孙中山的。
1925年8月,中国国民党领导的广州国民政府决定把在粤的各路军队统编为国民革命军,统一受国民政府指挥。就在这一月,余汉谋被国民政府委任为国民革命军上校团长,从此走上了国民革命的道路。
1927年(民国16年),任第四军第十一师副师长、师长、副军长。 1930年(民国19年),任第一集团军第一军军长。次年接受蒋介石命率部入赣,参与围剿工农红军。
1932年(民国21年),任赣湘闽粤第六绥靖区纵队指挥官。
1936年(民国25年)2月授陆军中将,8月任中央军校校务委员会委员,9月授陆军中将加上将衔任四路军总司令、广东绥靖公署主任。 1938年6月,日本侵略军从海上进犯广东省南澳岛。当时,余汉谋是广东省的最高军事长官,由于主客观方面的原因,南澳岛最终失守,这是余汉谋在抗战中失去的第一份国土。同年10月12日,日军以7万陆军、500艘战船、100架战机的兵力,强行在大亚湾登陆,并向广州方向进攻。当时,广东是全国剩下的唯一出海口,其余都沦为敌占区。所以,广东在全国抗战的大局上显得特别重要。据史书证实,当时国民党驻粤军队有13万多人,加上地方武装,枪支在50万以上。应该说,在军队数上我方是占很大优势的。但是,余汉谋在战前同意抽调近5万兵力北调参加武汉保卫战,严重削弱了广东的防务力量。而且,在大敌当前,余汉谋与广东省长吴铁城、广州市长曾养甫带领广东省的党政军机关撤离广州,最终因诸多原因导致广州等地陷落日本鬼子手中。对于余汉谋等人是否有失责之说,当时流传于广州的一首民谣是这样唱的:“余汉无谋,吴铁失城,曾养无谱”。
余汉谋带领驻粤的党政军机关撤退至连县后,在英德至河源一带设置防线,开始积极的抵抗。1939年底和1940年夏进行的两次粤北会战,是余汉谋在抗战期间的雪耻杰作。1939年12月,日军为了配合对广西南部的攻势,以近七万人的兵力,从广州向粤北进犯,企图一举歼灭驻守在那里的余汉谋的十二集团军。当时,余汉谋有12万兵力,虽然武器方面比不上日军,但依托粤北的大山大岭,加上失守广州带来的耻辱,使余汉谋和他的战士们斗志冲天,决心以此一役来报仇雪耻。战斗开始后的头几天,双方激战呈胶着状态,打得异常艰苦。不几天,余汉谋打听到日军的一部奉命支援桂南会战而撤出粤北战场。余汉谋当机立断,遂于12月26日率部开始全线反攻,至次年1月,终于把日军赶回战前的阵地,彻底粉碎了日寇第一次进犯粤北的战略企图,赢得了广东军民自抗战以来的第一场大胜利。
但日寇并不就此罢休,他们于5月又派出4万精兵卷土重来,第二次向粤北防线扑来。这一次,余汉谋集中优势兵力,诱敌深入山地,然后分割围歼日军,打得相当激烈。日军全线撤退,第二次粤北会战又以余汉谋的十二集团获胜而结束。
两次粤北会战的胜利,挫败了日寇利用广东切断粤汉铁路,威胁湘桂后方,最终迫使南方各省投降的战略,并且有力地配合支持了桂南会战,振奋了两广军民的人心。 抗日战争爆发后,任第四战区副司令长官、兼第十二集团军总司令,第七战区司令长官。曾被选为国民党第四、五、六届中央执行委员会委员。
1946年(民国35年)任衢州绥靖公署主任,授陆军二级上将。
1948年(民国37年)5月,余汉谋临危受命,升任国民党军队的陆军总司令。
1949年(民国38年)初,任广州绥靖公署主任、华南军政长官。
10月上旬,解放军推垮了余汉谋的三层防线,攻克了广州。广东全境除海南岛外全部解放。余汉谋只好率残部败逃海南,降职为海南特区行政公署副长官。 1950年5月率残部逃往台湾,任“总统府”战略顾问、“中央”评议委员等职。
1965年9月授陆军一级上将。
1981年12月病逝于台北市。