Den andre kinesisk-japanske krig begynte 7. juli 1937 med hendelsen ved Marco Polo-broen. 4. august 1937 ble Bai igjen en del av den sentrale regjeringa, etter Chiangs invitasjon. Han var medansvarlig for å trene soldater og for operasjoner under krigen. Han var strategen som overbeviste Chiang til å bruke en "full krig"-strategi, hvor Kina bytte områder mot tid, starte geriljakrigføring bak fiendens linjer og forstyrre fiendens forsyningslinjer ved enhver anledning. Når de bedre utstyrte og veltrente japanske troppene rykket fremover, bruke kineserne en brent jord-taktikk for å hindre dem lokal støtte. Bai var også involvert i mange viktige kampanjer, inkludert kinesernes første store seier, slaget om Tai'erzhuang i Shandong-provinsen våren 1938, sammen med Li Zongren. Kina klarte å forsinke japanerne for flere måneder. Bai overså forsvaret av Changsha, Hunans hovedstad, hvor japanerne ble slått tilbake tre ganger, og han kommanderte kineserne i slaget om Sør-Guangxi og slaget om Kunlun-passet for å gjenerobre Guangxi.