Huang Kecheng kom fra en bondefamilie. Etter ungdomsårene ble han medlem av Chiang Kai-sheks revolusjonshær, og i 1925 ble han medlem av det kinesiske kommunistparti.