1928年1月，蒋复职总司令，将何第一路改编为第一集团军，自兼总司令，何改任北伐军总司令部总参谋长，留守南京。2月7日，蒋任军事委员会主席，由何代理。何并任为浙江省政府主席，浙江省政实由蒋伯诚代理。
中原大战.1929年3月，蒋桂战争爆发，何任讨逆军总参谋长、中国国民党第三届中央执行委员，兼署中国国民革命军总参谋长，帮助蒋运筹方略，一举打败桂系。1930年3月，何就任国民政府军政部长兼署武汉行营主任，严防阎钖山、冯玉祥异动。10月，中原大战已近尾声，何被调任郑州行营主任，主持前