想要赦免他，被王及善劝住。他参与谋划召回庐陵王李显为太子，李显被重新立为太子后，他又请求外任为官，以安群臣。他依仗年老重臣，数次在张易之、张昌宗兄弟俩的宴会上落他们的面子，武则天很不高兴，让他不要再来参加宴会。他身体多病，圣历二年（699年）八月与豆卢钦望同被任命为文昌左、右相、同凤阁鸾台三品（宰相）。两个月后因病去世，年八十二，赠益州大都督，谥曰贞，陪葬干陵。