李忠为太子。654年，王皇后失宠后，唐高宗开始宠爱武昭仪。由于王皇后不善于使妃嫔、宫女效忠于己，而武昭仪善于此道。柳奭和他的姐妹魏国夫人柳氏（王皇后母亲）也不被后宫礼遇。654年，柳奭不安，向唐高宗提出解除自己宰相职务的请求，唐高宗同意了，命他担任吏部尚书，罢相。655年，王皇后和她的母亲柳氏用巫蛊之术以求皇帝再次宠爱皇后，受到武昭仪的指控。唐高宗禁止柳氏入宫，将柳奭贬出长安，为遂州（今四川遂宁）刺史。当他走到岐州（今陕西宝鸡）的时候，岐州长史于承素奉密旨指控柳奭泄露宫中的谈话，唐高宗再将他贬为荣州