亲吕公着。母亲鲁氏。外祖父鲁宗道。有弟吕希纯。少时从焦千之、孙复、石介、胡瑗学习。又从程颢、程颐、张载游。不事科举，绝意进取。以荫得官。元祐年间，范祖禹荐举为崇政殿说书，教导皇帝以“正心诚意”为本。绍圣初年，出知太平州。徽宗初年，召为秘书少监，后改光禄寺少卿。后因崇宁党祸夺职，知相州，徙邢州，寄寓淮、泗间十余年，授徒讲学，“名益重，远近皆师尊之”，元祐党人路过都前去拜访，创荥阳学派。政和六年（1116年）卒。着有《岁时杂记》二卷，已佚，《说郛》有节录。妻子是姨丈张昷之与大姨的女儿张氏。