期间，何遂在杭州寓居赋闲，蒋介石派陈铭枢把他找到南昌，奉派赴河南策动国民联军系统的靳云鹗、魏益三和田维勤倒戈，响应北伐战争。国民军中聘有几十名苏联顾问，何遂思想上受了一些社会主义的影响。
国民政府时期.1927年12月底，何遂应李济深邀请赴广州，1928年1月任李济深的第八路军总指挥部总参议。2月，奉中国国民党中央党部委派，任中国国民党广州黄埔国民革命军军官学校特别党部筹备委员。1928年5月，任黄埔军校代校务（代理校长）。1928年10月11日，他以黄埔军校代校长身份，率军校各部长