He Xiangu provenía de la prefectura de Yong (永, Yǒng), hoy en día distrito de Lingling (零陵, Línglíng), en Hunan o de una familia rica del distrito de Zengcheng (增城, Zēngchéng), en Guangdong.