北宋寿州（今安徽寿县）人。祖籍莱州。宝元二年（1039年），出生于官宦世家，曾祖吕蒙亨，祖父吕夷简，父亲吕公着。母亲鲁氏。外祖父鲁宗道。有弟吕希纯。少时从焦千之、孙复、石介、胡瑗学习。又从程颢、程颐、张载游。不事科举，绝意进取。以荫得官。元祐年间，范祖禹荐举为崇政殿说书，教导皇帝以“正心诚意”为本。绍圣初年，出知太平州。徽宗初年，召为秘书少监，后改光禄寺少卿。后因崇宁党祸夺职，知相州，徙邢州，寄寓淮、泗间十余年，授徒讲学，“名益重，远近皆师尊之”，元祐党人路过都前去拜访，创荥阳学派。政和六年（111