沧州节度使刘守文下做判官。其父吕琦官至后晋兵部侍郎。其兄吕余庆，后晋时，以荫补官。入宋，历知成都府、蔡州。有人认为吕端为人煳涂。宋太宗曰：“端小事煳涂，大事不煳涂。”故历史上有“吕端大事不煳涂”之誉。太宗至道元年（995年），吕端继吕蒙正为相。宋太宗去世后，内侍王继恩密谋废掉太子，另立君王。吕端发觉王的阴谋后制止了事态的发展，奉太子真宗即位，于是王继恩被贬逐。咸平元年（998年）以久病免相。咸平三年(1000年)，吕端以66岁而病卒，赠司空，谥正惠。