等人定下的苛税，结果德宗仓皇逃至奉天（今陕西省干县）。朔方节度使李怀光领兵勤王对抗朱泚，欲面圣弹劾卢杞。卢杞心虚，遂建议德宗不召见怀光，命他乘胜收复京城。宠信卢杞的德宗竟准其所奏，怀光接旨后大怒并起了反意。德宗碍于朝议，于十二月贬卢杞为新州（今广东新兴）司马。贞元元年（785年），德宗赦卢杞为吉州长史，卢杞对众人说：「我一定会再次被起用。」当日，德宗果然欲重新任用卢杞为饶州刺史。给事中袁高认为他奸邪败政，不肯草诏；宰相卢翰、刘从一另外命舍人代为拟诏，袁高便上奏德宗，坚持请求德宗中止任命，并得到谏官支持。