杞，耻与为伍，往往托病不和对方一起进餐（每托疾息于他阁，多不会食），使卢杞怀恨在心；加上杨炎意图集权中央的政策为各藩镇所不满，造成河北、河南藩镇联合叛乱，卢杞以李希烈迟不出兵讨伐梁崇义一事，归咎杨炎。德宗听信卢杞之言，于建中二年十月将之贬为崖州（海南岛）司马，途中有诗云：“一去一万里，千知千不还。崖州何处是，生度鬼门关。”杨炎并在途中被赐死，年五十五岁。杨炎有才干，但心胸狭隘，无法接受他人意见。德宗对杨炎的条陈提出不同意见时，杨炎动辄忿然作色，不肯继续讨论，“无复君臣之礼”。李泌与德宗讨