而在藤原广嗣之乱的这段时间中，橘诸兄等人忙于新京和佛像的建设，而疏忽了政敌藤原氏 藤原氏中又出现了可以掌局之人，就是南家藤原武智麻吕之子藤原仲麻吕706-764（庆云3-天平宝字8）橘诸兄在藤原仲麻吕的排挤中死去 （《万叶集》中寸有橘诸兄做歌8首 ）  朝廷实权又重新回到了藤原氏的手中，橘诸兄之子橘奈良麻吕