。蒋介石在南京另外设立了中央陆军军官学校；黄埔军校经费日见紧张。1929年底，因黄埔军校部分师生要求铲除“济深公园”，何遂反倒，递交辞呈后直接离职，迁居北平，收集与研究甲骨文。时任北平中国佛教协会会长的内兄陈裕时亦来他家居住。1931年1月，何遂应杨虎城邀请赴西安任第十七路军总参议。孙科接任立法院院长后，经蒋介石提名，何遂于1931年10月12日任南京国民政府立法院立法委员。民国21年（1932年）春，何遂、朱庆澜等人在北平组织了辽吉黑抗日义勇军民众后援会，何遂任副会长兼主任干事。1933年1月，撤