弟投靠山东革命军都督胡瑛，后随军转到上海，成为沪军都督府都督陈其美手下的光复军团长。1913年（民国2年）任江苏陆军第三师师长。同年，二次革命时，张宗昌奉命赴徐州抵御袁世凯北洋军的进攻，在阵前倒戈，成为北洋军冯国璋手下。1916年（民国5年）春，陈其美在上海起义，张宗昌派手下营长暗杀了陈其美。因此功绩，张宗昌获冯国璋提拔。同年11月，冯国璋就任副总统，张宗昌被任命为侍从武官长。护法战争爆发后，1918年（民国7年），张宗昌被任命为苏军（江苏军）第6混成旅旅长，随张怀芝赴湖南参加同南方政府军的作战，大败而