この間に光明皇后の信任を得た藤原南家の藤原仲麻呂（武智麻呂の子）が台頭、紫微中台を組織して755年（天平勝宝7歳）には橘諸兄から実権を奪い、757年（天平宝字元年）には諸兄の子橘奈良麻呂も排除した（橘奈良麻呂の乱）。
在组建紫微中台（日语：紫微中台）之后，藤原仲麻吕于755年（天平胜宝7年）从橘诸兄手中抢过朝廷大权，并于757年（天平宝字元年）将橘诸兄之子橘奈良麻吕排除在朝廷势力集团之外（橘奈良麻吕之乱（日语：橘奈良麻吕の乱））。