เซี่ยงเหลียงมาจากเซี่ยเซียง (下相; ซูเฉียน,เจียงซู ในทุกวันนี้) และเป็นทายาทของตระกูลที่รับใช้ รัฐฉู่ ใน ยุครณรัฐ. พ่อของเซี่ยงเหลียง เป็นขุนพลที่มีชื่อเสียงจากการนำกองทัพฉู่ต่อต้านการรุกรานจากกองทัพฉินที่นำโดยขุนพล หวัง เจี่ยน, และถูกสังหารในที่รบเมื่อ 223 ปีก่อนคริสตกาล เมื่อ ฉินพิชิตฉู่.