太子宽厚得民心，一些主张严刑峻法的官员不满太子。卫青死后，太子失去了最重要的保护者，朝臣对太子的攻击更多。武帝晚年沉迷巫术，太子和卫皇后都很难见到他。太初四年（前101年），李广利为将军出征匈奴，李氏势力抬头，卫皇后失宠，钩弋夫人又以“尧母”自居，李夫人的兄弟掌握兵权，太子的地位越来越不稳固。有一次苏文上告“太子与宫人戏”，武帝并没有处罚太子。又一次武帝身体不适，叫黄门常融召见太子。常融回报时说「太子有喜色」，武帝长声叹息。待太子来到后，发现太子看似哭过却又强颜欢笑，神态有异，追查后之下才知道是常融在背