二次革命后，张羣流亡日本，并完成了陆军士官学校的学业，于1915年夏毕业。后前往南洋，在当地华人学校教书。护国战争爆发后回到中国上海，1917年参与了孙中山的护法运动。护法运动失败后，受黄郛帮助前往北京任职，加入国民军，随胡景翼进军四川。1926年败于吴佩孚。张羣于是逃亡上海。
中年经历.1927年起，先后任兵工署长，上海特别市市长（1929年至1930年），上海市市长（1930年至1932年），湖北省政府主席。1932年11月6日，张羣在汉口召集四川各军驻汉口代表开谈话会，请各代