怀光接旨后大怒并起了反意。德宗碍于朝议，于十二月贬卢杞为新州（今广东新兴）司马。贞元元年（785年），德宗赦卢杞为吉州长史，卢杞对众人说：「我一定会再次被起用。」当日，德宗果然欲重新任用卢杞为饶州刺史。给事中袁高认为他奸邪败政，不肯草诏；宰相卢翰、刘从一另外命舍人代为拟诏，袁高便上奏德宗，坚持请求德宗中止任命，并得到谏官支持。于是德宗只得徙卢杞为澧州（今湖南澧县）别驾，不久卢杞就死于澧州，德宗贬卢杞到澧州后，仍希望改配他为小州刺史，遭到李勉反对，并认为如此会使百姓失望。德宗再追问：「所有人都说卢杞奸