중화민국 육군
그러나 1927년 장제스(蔣介石)가 지휘하는 국민혁명군은 '북벌운동'을 개시하면서 점차 그를 압박해왔고 장쭤린은 이에 밀리기 시작했다. 이들이 조만간 베이징을 점령할 것이 분명해진 것이었다. 그러자 막후에서 그를 지원하던 일본 정부도 결국 그에게 베이징을 국민당에 넘겨주고 퇴각하도록 권고했다. 다나카는 중국 북부에서 만주로 철수하도록 장쭤린에게 압력을 가했다. 만주에서는 일본군이 그를 보호할 수 있었다.장쭤린은 마지못해 동의하였다. 이후 장은 1928년 6월 1일을 기하여 중화민국 육군 대원수 예편하였다.