Noe normalt familieliv kan ikke gutten ha fått. Hans far engasjerte seg lite, og den daglige omsorg var overlatt til barnepiker, og palassevnukker fulgte ham hvor enn han gikk. Det var umulig for ham å komme for seg selv, og han så nesten aldri sine foreldre. Som småbarn overlevde han kopper, tidens mest fryktede sykdom, og det var nok en av flere grunner til at han ble utnevnt fremfor sine eldre brødre til tronfølger av sin far. Men ikke den eneste: Gutten var bare den tredje av keisersønnene, men storebrødrene var født av mødre av lavere byrd. Xuanyes mor, konkubinen Xiaokang (senere gitt keiserinnes rang), var datter av Tulai, en berømt mandsjugeneral fra den fremstående klanen Tong. Familien hadde levd lenge blant kineserne og moren var preget av det.