1938年6月,日本侵略军从海上进犯广东省南澳岛。当时,余汉谋是广东省的最高军事长官,由于主客观方面的原因,南澳岛最终失守,这是余汉谋在抗战中失去的第一份国土。同年10月12日,日军以7万陆军、500艘战船、100架战机的兵力,强行在大亚湾登陆,并向广州方向进攻。当时,广东是全国剩下的唯一出海口,其余都沦为敌占区。所以,广东在全国抗战的大局上显得特别重要。据史书证实,当时国民党驻粤军队有13万多人,加上地方武装,枪支在50万以上。应该说,在军队数上我方是占很大优势的。但是,余汉谋在战前同意抽调近5万兵力北调参加武汉保卫战,严重削弱了广东的防务力量。而且,在大敌当前,余汉谋与广东省长吴铁城、广州市长曾养甫带领广东省的党政军机关撤离广州,最终因诸多原因导致广州等地陷落日本鬼子手中。对于余汉谋等人是否有失责之说,当时流传于广州的一首民谣是这样唱的:“余汉无谋,吴铁失城,曾养无谱”。余汉谋带领驻粤的党政军机关撤退至连县后,在英德至河源一带设置防线,开始积极的抵抗。1939年底和1940年夏进行的两次粤北会战,是余汉谋在抗战期间的雪耻杰作。