A continuación, participó como miembro del Ejército Nacional Revolucionario del Kuomintang (KMT) en la Expedición al Norte del general Chiang Kai-chek en 1926 y 1927, que tenía por objetivo reconquistar las regiones del norte de China que no reconocían la autoridad del Gobierno de Cantón. Durante la campaña, ascendió a coronel. Tras esta campaña Lin fue estudiante del asesor militar soviético Vasili Blücher, un oficial enviado por el gobierno de la URSS para otorgar capacitación militar a oficiales jóvenes del KMT. Cuando Chiang rompió relaciones con los comunistas en 1927 y trató de eliminarlos, Lin Biao se pasó con su unidad al ejército rojo que estaban organizando Mao Zedong y Zhu De en las montañas de Jinggang. Ese mismo año se había afiliado al partido. A continuación, participó en la formación del sóviet de Jiangxi.