6年高宗下令，以李素节长年患病为理由，不再召唤李素节入京朝见。李素节因此知道武后猜忌他，因此作《忠孝论》来抒发对父皇的思念，表明自己无罪，当时王府仓曹参军张柬之暗中将《忠孝论》呈献给武后，引起武后对他更加不满，遂诬陷他贪赃受贿，将他降封为鄱阳郡王，监禁在袁州（今江西省宜春市袁州区）。677年，又判处他禁锢终身，改为监禁岳州（今湖南岳阳市）。678年任命他为岳州刺史，此后又多次迁徙。689年武周革命前，武则天大杀李唐宗室，魏王武承嗣指使酷吏周兴诬告泽王李上金、许王李素节谋反，两人被勒令入京，李素节在都城南龙门