闻皇后与太子有不安之意，岂有之邪？可以意晓之。”叫卫青安抚太子。太子劝谏武帝减少征伐，武帝却笑说“吾当其劳，以逸遗汝，不亦可乎！”。太子宽厚得民心，一些主张严刑峻法的官员不满太子。卫青死后，太子失去了最重要的保护者，朝臣对太子的攻击更多。武帝晚年沉迷巫术，太子和卫皇后都很难见到他。太初四年（前101年），李广利为将军出征匈奴，李氏势力抬头，卫皇后失宠，钩弋夫人又以“尧母”自居，李夫人的兄弟掌握兵权，太子的地位越来越不稳固。有一次苏文上告“太子与宫人戏”，武帝并没有处罚太子。又一次武帝身体不适，叫黄门常融