その後廟堂の実権は皇親の橘諸兄に移ったが、その下で武智麻呂の長男藤原豊成は順調に昇進し、天平感宝元年（749年）右大臣に任ぜられる。一方、同年孝謙天皇が即位して皇太后となった光明子の下に紫微中台が設置され、甥の仲麻呂（武智麻呂の次男）が長官（紫微令）に就く。仲麻呂は、紫微中台を太政官とは別個の国政機関としてその権限を強化していき、諸兄の子橘奈良麻呂が中心となってこれを排除しようと企てた乱も未然に防いで多くの皇族・他氏族のほか兄豊成を含めた政敵を一掃する。淳仁朝では、息子3人（真先・訓儒麻呂・朝狩）を参議に任じ、自身は人臣初の太政大臣（唐風に改めて「大師」と称する）まで昇りつめたが、天平宝字8年（764年）恵美押勝の乱により失脚した。