光仁天皇
可是，到了756年（孝謙天皇天平勝寶八年），曾提攜大伴家持的橘諸兄遭撤職，藤原仲麻呂大權在握。758年（天平寶字二年）7月，家持亦被降職為因幡守。多年後，775年（光仁天皇寶龜六年），才被調回任衛門督，其後曾任春宮大夫（781年，光仁天皇寶龜十二年）、中納言（783年，桓武天皇延曆二年）、持節征東將軍（784年 ，桓武天皇延曆三年）。