1896年9月22日,余汉谋出生在高要肇庆府的一个盐商家庭。当时,正值清末动乱之年,余汉谋的父亲余起鹏明显地感到生意越来越难做了。也就是从这时候起,一向殷实的余家开始走下坡路,年少的余汉谋倍感生活的艰辛。余家是一个大家庭,十几个兄弟叔侄共同生活在一起。从前生活殷实时,人多倒也热闹,家道衰落,人多就成了一个大负担了。到了余汉谋六岁时,他想进学堂读书,但父亲已经拿不出钱来供儿子念书了。余汉谋的四姐余淑贤当时已嫁出家门,当她得知弟弟的情况后,毅然答应出钱供弟弟读书。此后,余汉谋靠姐姐的资助,读到高等小学毕业。小学毕业后,余汉谋考上了广州黄埔陆军小学,一直读到保定陆军军官学校毕业。余汉谋从六岁开始读书,到二十四岁军校毕业,共念了十八年书,这对于一个来自贫苦家庭的人来说,是相当不容易的。而这一切,都靠余汉谋的姐姐的无私帮助。1919年秋天,余汉谋从保定陆军军官学校毕业后,被分配到皖系军队任少尉排长,从此步入军界,开始了他长达几十年的戎马生涯。虽然余汉谋是在安徽开始从军的,但他的发迹史却在广东书写的。1920年,余汉谋回到广东,在粤军第三师任连长。1920年的广东,正是孙中山发动第三次护法运动的基地。当时的粤军领袖是陈炯明,而这支粤军也是孙中山在第一次护法运动时的军政府警卫军,全体指战员都是宣誓效忠孙中山的国民党员。之后,这支训练有素、颇有战斗力的粤系军队,就成了陈炯明与孙中山争夺权力的资本。余汉谋当时只是粤军的下级军官,对陈炯明与孙中山的斗争知之甚少,在上司的指挥下,率部参加了讨伐桂军陆荣延的战役。平定两广后,余汉谋升任少校营长。1922年6月16日,余汉谋所在的粤军,受总司令陈炯明的指使,对孙中山的革命政府发动了军事政变。由于余汉谋当时只是中下层军官,他有没有参加军事政变都不是主要的,因为他没有主动参与的动机。1923年1月陈炯明兵败离开广州,7月余汉谋调升粤军第一师第二旅中校主任参谋,应该说余汉谋是忠于孙中山的。1925年8月,中国国民党领导的广州国民政府决定把在粤的各路军队统编为国民革命军,统一受国民政府指挥。就在这一月,余汉谋被国民政府委任为国民革命军上校团长,从此走上了国民革命的道路。