为吉州长史，卢杞对众人说：「我一定会再次被起用。」当日，德宗果然欲重新任用卢杞为饶州刺史。给事中袁高认为他奸邪败政，不肯草诏；宰相卢翰、刘从一另外命舍人代为拟诏，袁高便上奏德宗，坚持请求德宗中止任命，并得到谏官支持。于是德宗只得徙卢杞为澧州（今湖南澧县）别驾，不久卢杞就死于澧州，德宗贬卢杞到澧州后，仍希望改配他为小州刺史，遭到李勉反对，并认为如此会使百姓失望。德宗再追问：「所有人都说卢杞奸邪，朕竟然不知道！你知道当中的原因吗？」李勉回答：「天下的人都知道卢杞奸邪，却只有陛下不知道，这正好说明他奸邪啊。」