Xiang era un nadiu de Xiaxiang (avui en dia Suqian, Jiangsu). Xiang era descendent d'una família que havia servit a l'Estat de Chu durant generacions. El pare de Xiang, Xiang Yan, havia estat un famós comandant militar, que va dirigir l'exèrcit de Chu per resistir les forces invasores de Qin dirigides per Wang Jian, i va ser mort en combat en el 223 aEC quan Qin va annexionar Chu.