蒙几近三十余年，并与其弟吕文焕、吕文福，以及利州都统刘整、兴元府驻扎御前诸军都统制，知合州事王坚、鄂州都统高达等，共同抵抗蒙哥率领的军队。晚年奉命戍守襄阳十四年，在襄樊之战中与蒙古军相持六年，最终以兵尽粮绝告终，被蒙军伯颜攻陷。其弟京西南路安抚副使吕文焕被迫降元，随即荆湖北路和沿江宋军望风而降，其子权兵部尚书吕师夔、堂弟保康军承宣使吕文福、婿殿前司副都指挥使、知安庆府事范文虎、其旧部枢密副使夏贵、鄂州江陵府驻扎御前诸军都统制程鹏飞、沿江制置使兼知黄州事陈奕、黄州总管石国英、蕲州安抚使管景模、知安东州陈岩