Under den annen sino-japanske krig kommanderte Liu sammen med Deng Xiaoping som politisk kommissær den 129. divisjon, som da var den beste og viktigste enheten på kommunistisk side. Den 129. divisjon ble senere utvidet til , og Liu ledet den i kamp mot Kuomintang-truppene til Chiang Kai-shek. Han ledet det kommunistiske utbruddsforsøket fra Shanxi og opprettet anti-japanske støttepunkter i fjellene i fjelltraktene mellom Shanxi, Hebei og Henan. Etter at Japan kapitulerte i 1945, kommanderte Liu flere feltarmeer og innledet kommunistenes strategiendring fra geriljataktikk til massive motangrep. I juni 1947 ledet han med Deng Xiaoping angrepet på Dabiefjellene nord for Kuomintangs hovedstad Nanjing, Huaihaikampanjen og kryssingen av Yangtzejiang. Denne manøveren ødela Kuomintangs sentralarmé og tvang dem sørover i landet.