吕在床上接受了正一位左大臣的任命后死去，当时57岁。死后、于天平宝字4年（760年），被追赠为太政大臣。藤原四兄弟皆于这次的天花流行病中相继病死，藤原四子政权也迎来了终结。因为四兄弟的儿子年轻，藤原氏一度没落，持续到孝谦朝，武智麻吕之子豊成及其后的仲麻吕才复兴。