33年秋辞去军职，并卖掉北平的住房，于1934年1月举家迁移南京山西路普陀路4号，任立法院军事委员会委员，时任军事委员会委员长陈肇英。1935年11月，被推选为中国国民党第五次全国代表大会代表。民国26年（1937年），中共中央代表团抵达南京，时任国民政府立法院军事委员会委员的何遂由此结识了中共领导人周恩来、叶剑英等。　　抗日战争期间，程潜聘任何遂为第一战区高级幕僚室主任。任内，他曾陪周恩来乘汽车自河南前线前往位于山西五台山的八路军总部，结识了八路军领导人朱德、彭德怀等。何遂因与阎锡山结交于辛亥革命