岳在陕西为西进的问题发生争执，怒而离开国民军第三军去日本考察。后孙岳健康恶化，把何遂请回来代理第三军军长。国民军被直、奉联合击败,撤出北京，1926年5月到8月在南口大战失败后撤回至西北，第三军瓦解。1926年北伐战争期间，何遂在杭州寓居赋闲，蒋介石派陈铭枢把他找到南昌，奉派赴河南策动国民联军系统的靳云鹗、魏益三和田维勤倒戈，响应北伐战争。国民军中聘有几十名苏联顾问，何遂思想上受了一些社会主义的影响。
国民政府时期.1927年12月底，何遂应李济深邀请赴广州，1928年1月任李济深的