Né dans la province du Jilin, Li commence sa carrière en s'opposant à la tentative de Yuan Shikai de restaurer l'empire. Il rejoint l'armée du Nord-Est de la clique du Fengtian en 1917 en tant que simple soldat et devient chef de peloton puis capitaine en six ans. Politiquement, il se rapproche de la gauche et, en , il rejoint le Parti communiste chinois. Trois mois plus tard, les Japonais provoquent l'incident de Mukden et envahissent la Mandchourie. Évitant la capture, Li rejoint l'armée de volontaires anti-japonaise de Wang Delin qui accueillent des communistes et il devient, avec Zhou Baozhong, un officier haut gradé. Il est promu chef d'État-major de l'armée du salut national du peuple chinois de Wang et réussit à résister aux tentatives japonaises d'installer un nouvel État nommé Mandchoukouo. Il aurait aussi secrètement organisé des cellules communistes dans l'armée. Le Parti s'oppose à l'époque aux armées de volontaires et à la participation de ses membres et fonde l'armée révolutionnaire populaire du Nord-Est.