武帝时郭圣通与刘彊的故事，表示武氏为皇后的话，就应该废掉出身卑微的太子，改立新的嫡子李弘为太子。此话深得高宗心意，因此隔年改立武昭仪为皇后，再隔年（656年）废太子李忠为梁王，立李弘为皇太子，并在诏书中称李忠是主动让位，有太伯之风。李忠出任梁州（今陕西省汉中市）都督，赐甲第，实封户二千，物二万段，后来又转封为房州（今湖北省房县）刺史。李忠于是开始相当恐惧，因为害怕有人会谋害他，便时常穿着女子的服装，以躲避刺客。又常常做恶梦，于是自行占卜解梦。显庆五年（660年），迷信之事被发现，遂被废为庶人，迁徙至黔州