身门阀，曾祖为浙江东道节度使吕延之，祖父为礼部侍郎吕渭，父为海州刺史吕让。唐德宗贞元十二载丙子年（796年5月4日）生于蒲州永乐县，禅宗马祖道一大师见到就说：“此儿骨相不凡，自市风尘物处。他时遇卢则居，见钟则扣，留心记取。”寓意是遇庐山就隐居，遇到钟离权就出家修道了。自小聪明过人，日记万言，过目成诵，出口成章，长大后“身长八尺二寸，喜顶华阳巾，衣黄欗杉，系一皂鞗，状类张子房，二十不娶”。年轻时曾经两次应考不第，后中进士，为官一段时间，曾两度担任县令，不久因厌官场生活，弃官入道，隐居山林。一次游长安酒