文失势，柳宗元等二王八司马被贬官，而吕温则因是外派使者而幸免。此后历任司封员外郎、刑部郎中，宪宗元和三年（808年）秋，因与御史中丞窦群、侍御史羊士谔一起陷害宰相李吉甫被宪宗察觉，被贬均州刺史，朝议时认为处罚太轻，再贬为道州刺史，五年（810年）转为衡州刺史，元和六年八月病卒于任所，年四十。柳宗元写祭文《唐故衡州刺史东平吕君诔》痛悼：“志不得行，功不得施。……临江大哭，万事已矣！”吕温文体富艳，有丘明、班固之风，所着《凌烟阁功臣铭》、《张始兴画赞》、《移博士书》，颇为文士所赏，世以吕衡州称之。好友刘禹锡