同事先后被任用，只吕温在蕃中悲叹时运不济。元和元年（806年），吕温使团被放回，改官户部员外郎，此时王叔文失势，柳宗元等二王八司马被贬官，而吕温则因是外派使者而幸免。此后历任司封员外郎、刑部郎中，宪宗元和三年（808年）秋，因与御史中丞窦群、侍御史羊士谔一起陷害宰相李吉甫被宪宗察觉，被贬均州刺史，朝议时认为处罚太轻，再贬为道州刺史，五年（810年）转为衡州刺史，元和六年八月病卒于任所，年四十。柳宗元写祭文《唐故衡州刺史东平吕君诔》痛悼：“志不得行，功不得施。……临江大哭，万事已矣！”吕温文体富艳，有丘明