Родился 27 февраля 1903 года в уезде Сянсян провинции Хунань. Был вторым ребенком из 12 детей. Единственный старший брат умер в юности от болезни, таким образом, Чэнь Гэн стал старшим сыном в семье. Его дед, Чэнь Ихуай, участвовал в подавлении Тайпинского восстания 1850—1864 годов. Семья Чэнь считалась одной из самых богатых в той местности и владела большими территориями земли.