Under den andre kinesisk-japanske krig ble Nie først tildelt posten som visedivisjonskommandant for Åttende Rutearmés 115. divisjon, som hadde Lin Biao som kommandant, og sent i 1930-åra fikk han kommandoen over et område nær Yan Xishans base i Shanxi.