何遂退出湖北省政务委员会。1927年4月，何成濬奉蒋中正委派赴山西联络阎锡山，说服了阎锡山出兵参加北伐战争。何在经过北京时，联络了奉系的韩麟春，张学良，杨宇霆，于国翰等人。1927年7月28日,南京国民党中央执行委员会政治会议议决，特任陈训泳、蒋作宾、方声涛、何成濬、孙岳、方本仁为军事委员会委员。该年9月17日,由宁、沪、汉三方组成的国民党中央特别委员会推举何成濬等为军事委员会委员。1928年4月国民政府开始“二次北伐”，何担任第一集团军参谋长兼徐州行营主任。五三惨案中，日方以熊式辉资格不够，拒绝与其谈判。