3年（731年），武智麻吕代替逝世的大伴旅人兼任大宰帅。天平6年（734年），藤原武智麻吕就任从二位的右大臣。天平9年（737年）7月，武智麻吕患上了当时流行的天花，于7月25日临终时，武智麻吕在床上接受了正一位左大臣的任命后死去，当时57岁。死后、于天平宝字4年（760年），被追赠为太政大臣。藤原四兄弟皆于这次的天花流行病中相继病死，藤原四子政权也迎来了终结。因为四兄弟的儿子年轻，藤原氏一度没落，持续到孝谦朝，武智麻吕之子豊成及其后的仲麻吕才复兴。