Kisparaszti családba született, apja nem egészen egy hektár öntözött földön gazdálkodott, és emellett kis élelmiszerboltja volt. Ebből tartotta el családját, négy fiát, szüleit, nagyanyját és egy nagybátyját, aki részt vett a Tajping-felkelésben, és annak egyenlősítő eszméiről sokat mesélt a fiatal nak. Peng maga később osztályhátterét „alsó-középparasztinak” nevezte.