Li Sisheng ble født i sin bestefar keiser Ruizongs annen regjeringsperiode, som tredje sønn av sin far, daværende (711) kronprins Li Longji, som senere skulle bli keiser Xuanzong. Hans mor, konsort Yang Guipin (posthumt keiserinne Yuanxian) tilhørte keiserklanen i det forutgående Sui-dynastiet. Hennes oldefar Yang Shida (楊士達) var en høyere embedsmann i Sui-tiden og var gitt tittelen fyrsten av Zheng (鄭王). Hennes far Yang Zhiqing (楊知慶) var general i keisergarden under Tang.