Under den annen sino-japanske krig (1937–1945) kjempet Xu mot de japanske invasjonsstyrker, og opprettet kommunistiske baser i det nordlige Kina. Disse basene var reservebaser til dem i Shaanxi som ble meget sterke. Da Kuomintang klarte å trenge inn dit, flyttet kommunistene bare til Xus baser lenger nord.