Li Desheng stammet fra fattigslige kår i fjellområdet Dabie i Henan. Allerede som barn hjalp han til på gården med å passe på kuene. Moren døde da han var ni år. I 1929 gikk han med i barneregimentet i den kommunistiske arbeider- og bondehæren under den kinesiske borgerkrig, og ble raskt regimentets kommandør.