1916年参加孙中山领导的革命，加入中华革命党。随后入读保定陆军军官学校，1919年六期步科毕业。之后于北洋军内任排长、连长。1920年入粤军，任营长。1925年粤军改编为国民革命军第四军，余任第11师31团团长，师长为陈济棠，同年参加粤桂战争。北伐时随第11师与李济深留守广州。1931年5月，陈济棠等反蒋，在广州另立国民政府，余汉谋任广州政府军事委员会员委员，兼第一集团军军长。广州政府于九一八事变后取消。1934年至1935年余率部参加江西剿共战争，曾任赣粤闽边区剿匪总司令部第一路