叔文所倚重。十九年任左拾遗，次年作为副使随工部侍郎张荐出使吐蕃。走至凤翔时，官职转为侍御史，赐绯袍牙笏。之后顺宗即位，张荐卒于青海，吕温被扣留。当时王叔文掌权，吕温的东宫同事先后被任用，只吕温在蕃中悲叹时运不济。元和元年（806年），吕温使团被放回，改官户部员外郎，此时王叔文失势，柳宗元等二王八司马被贬官，而吕温则因是外派使者而幸免。此后历任司封员外郎、刑部郎中，宪宗元和三年（808年）秋，因与御史中丞窦群、侍御史羊士谔一起陷害宰相李吉甫被宪宗察觉，被贬均州刺史，朝议时认为处罚太轻，再贬为道州刺史，五年