После смерти деда в 1911 году Пэн ушёл из дому и нанялся за девять юаней в месяц (30 медяков в день) на угольную шахту в Сянтане, где возил тачки с углём по 12—13 часов в сутки. На новый, 1912 год, после революции предприятие обанкротилось, и Пэн недополучил жалованье за целый год. Ему пришлось вернуться домой и перебиваться случайными заработками: рубить дрова, ловить рыбу на продажу. 1913 год в Хунани вновь был засушливым, начался голод. Пэн участвовал в крестьянских волнениях, в ходе которого был захвачен склад зерноторговца, а запасы были распределены поровну между бедняками. Пэн попал в списки на арест и при помощи родственника бежал на озеро Дунтинху, где два года был землекопом на строительстве дамб и плотин. Об этих годах он рассказывал племяннице, что однажды спрятался от ливня в горной пещере, где увидел, как вода, капавшая со свода, продолбила в полу множество лунок. Тогда он взял себе прозвище «Тот, кто долбит камень» (), и решил в дальнейшей жизни следовать этому принципу. В 1916 году после амнистии Пэн вернулся в родной уезд и не без труда (ему ещё не исполнилось 18 лет) нанялся в милитариста .