失败后，受黄郛帮助前往北京任职，加入国民军，随胡景翼进军四川。1926年败于吴佩孚。张羣于是逃亡上海。
中年经历.1927年起，先后任兵工署长，上海特别市市长（1929年至1930年），上海市市长（1930年至1932年），湖北省政府主席。1932年11月6日，张羣在汉口召集四川各军驻汉口代表开谈话会，请各代表分电各将领于11月21日实行停战。1935年12月到1937年3月，任国民政府外交部长；险被酆悌阴谋刺杀。1937年1月9日，日本驻华大使访外交部长张羣。1月20日，外交