《移博士书》，颇为文士所赏，世以吕衡州称之。好友刘禹锡整理《吕衡州集》十卷传世，与《骆宾王集》十卷、《李元宾集》六卷，合称《唐人三家集》。弟弟吕恭、吕俭皆官至侍御史，弟弟吕让（793—855），字逊叔，官至秘书监。吕温嫡母是柳识之女，柳宗元是柳识之弟柳浑的“从孙”。柳写有《送表弟吕让将仕进序》一文。吕让的儿子吕喦，即道教知名仙人吕洞宾。