1926年（民国15年）7月に中国国民党は北伐を開始し、呉佩孚と孫伝芳の軍勢を撃破した。張宗昌はこれに対抗して、12月に孫伝芳と共に張作霖を安国軍総司令として擁立し、自身は安国軍副総司令兼直魯聯軍総司令として直魯聯軍を率いて南下した。しかしながら翌1927年（民国16年）以降になると、張の軍勢は北伐軍に安徽省や上海など各地で敗北を重ねた。南京を退却した時には南京事件が起きた。結局張は、山東省へ逃げ戻っている。山東出兵で日本軍の支援を得て一息つくものの、1928年（民国17年）4月に国民革命軍が北伐を再開すると最早劣勢を挽回する余地は無かった。6月4日に張作霖爆殺事件が発生すると張は関外（東北三省）への脱出を図るものの、奉天軍閥を掌握したばかりの張学良が受け入れを拒み、9月に白崇禧軍の追撃を受けて全軍覆滅に至ると日本の保護を求めて大連に逃亡する。