御史弹劾，不如在掖庭选取。如此选出三人，章敬皇后吴氏是其中一人。开元十四年（726年），吴氏生下他的长子李俶（即唐代宗）。开元十五年（727年），后徙封忠王，初改名为浚，后改名为玙。开元二十六年（738年）皇太子李瑛为武惠妃所谗，贬庶人废死；其被立为太子。他的妾室孺人韦氏被立为太子妃。当初唐玄宗欲立太子时，李林甫曾推举寿王李瑁。李亨成为太子后，李林甫惧怕，阴谋推翻太子。李林甫为构陷太子，诬陷太子妃兄韦坚，使得韦氏被迫与李亨离异，出家为尼。另一位妾室杜良娣的父亲杜有邻被赐死，杜良娣亦被废为庶人。天宝三