士官学校，和张羣编入高田炮兵第十三师团当士官候补官。其后曾参与辛亥革命、二次革命、护法运动等。二次革命后，张羣流亡日本，并完成了陆军士官学校的学业，于1915年夏毕业。后前往南洋，在当地华人学校教书。护国战争爆发后回到中国上海，1917年参与了孙中山的护法运动。护法运动失败后，受黄郛帮助前往北京任职，加入国民军，随胡景翼进军四川。1926年败于吴佩孚。张羣于是逃亡上海。
中年经历.1927年起，先后任兵工署长，上海特别市市长（1929年至1930年），上海市市长（1930年至193