诏书中称李忠是主动让位，有太伯之风。李忠出任梁州（今陕西省汉中市）都督，赐甲第，实封户二千，物二万段，后来又转封为房州（今湖北省房县）刺史。李忠于是开始相当恐惧，因为害怕有人会谋害他，便时常穿着女子的服装，以躲避刺客。又常常做恶梦，于是自行占卜解梦。显庆五年（660年），迷信之事被发现，遂被废为庶人，迁徙至黔州，被囚禁在以前李承干的故居。麟德元年（664年），宦官王伏胜发现武后召道士出入宫中，上官仪向高宗建议废武后；由于王伏胜曾经侍奉过李忠，许敬宗便向武后进谗说这次废后谋反之事，李忠