晚年心爱且临幸的嫔妃很多，生了近二十位小皇子、小公主，最受宠的两个嫔妃张婕妤生下儿子李元方、尹德妃生下儿子李元亨，她们为了自身利益及巩固地位，极力巴结讨好太子李建成、齐王李元吉，竭力攻击诋毁秦王李世民。建成和元吉则都曲意侍奉继母张婕妤、尹德妃，奉承献媚、贿赂、馈赠，无所不用其极，以求得皇帝的宠爱。并有传说李建成、齐王李元吉与后母张婕妤、尹德妃，通姦偷情，淫乱后宫，但宫禁幽深神秘，此事无从证实。当时，太子东宫、各王公、妃主之家以及后宫妃嫔的亲属，在长安横行霸道，为非作歹，而主管部门却不敢追究。世民不讨好诸位妃