民党中央政治会议决议冯玉祥为第二集团军总司令，阎钖山为第三集团军总司令，并命统归蒋指挥。1928年4月，蒋联合冯玉祥、阎钖山及李宗仁共同讨伐张作霖。国民革命军所向克捷，连续攻克郯城、台儿庄、郓城、韩庄、临城、枣庄。第三军团在鱼台失利，蒋电令各军赴援。张宗昌下总退却令，惟孙传芳纠集余部，尚图顽抗。是月下旬，屡次攻克巨野、嘉祥，经西关攻克济宁、滕县、界河、鱼台、汶上、邹县、大名。连续攻克宁阳、兖州、曲阜、金乡。连续攻克莱芜、平阴、泰安、肥城。张宗昌部败退滦州，孙传芳在北京宣布下野，张、孙残部向国民革命军投降。