贞元元年（785年）卢杞徙澧州（今湖南澧县）。德宗谓李勉曰：「众人皆言卢杞奸邪，朕何不知！卿如其状乎？」李勉谓德宗曰：「众人皆言卢杞奸邪，而陛下独不知。此所以为奸邪也。」李勉累次上表辞位，遂罢知政事，加太子太保。贞元四年（788年），病逝，年七十二，追赠太傅，谥贞简。四子：李缵、李缜、李纬、兵部员外郎李约。