他「形陋而心险」。卢杞忌能妒贤，曾先后陷害杨炎、崔宁、张镒、颜真卿、杜佑、钟馗等。此外又横征暴敛、搜括民财以充军需，导致民怨沸腾。建中四年（783年），泾原兵变爆发，叛军攻打京师的口号竟然是废除卢杞、赵赞等人定下的苛税，结果德宗仓皇逃至奉天（今陕西省干县）。朔方节度使李怀光领兵勤王对抗朱泚，欲面圣弹劾卢杞。卢杞心虚，遂建议德宗不召见怀光，命他乘胜收复京城。宠信卢杞的德宗竟准其所奏，怀光接旨后大怒并起了反意。德宗碍于朝议，于十二月贬卢杞为新州（今广东新兴）司马。贞元元年（785年），德宗赦卢杞为吉州长