En 1905, Zhang s'engage du côté japonais dans la guerre russo-japonaise, d'où les Japonais sortent encore une fois vainqueurs. Cette victoire bouleverse les conceptions ethnocentriques occidentales : des Asiatiques, pour la première fois, l'emportaient dans une guerre moderne. Bien qu'officiellement chinoise, la Mandchourie passe dans la sphère d'influence japonaise. Zhang Zuolin s'y fait connaître des Japonais. Il monte progressivement une petite armée personnelle et gagne encore en importance au moment du mouvement révolutionnaire de 1911, quand ses troupes occupent Shenyang, capitale administrative de la Mandchourie, Zhang devenant de fait le gouverneur militaire de la province. En 1915, il refuse de céder sa place au nouveau gouverneur militaire nommé par le gouvernement de la république de Chine. Le président Yuan Shikai, qui a alors besoin de son soutien militaire, officialise sa position en le nommant gouverneur militaire du Fengtian, un territoire correspondant approximativement à la province du Liaoning, en 1916. En 1918, Zhang a su faire reconnaître son autorité par les provinces avoisinantes, devenant le maître de fait de toute la Mandchourie, et se comportant en véritable chef d'État.