改变已往一面倒投向橘诸兄的作风，经常出席藤原仲麻吕派的宴会，与他们往来，并向藤原氏靠拢。其后，至758年（天平宝字二年）遭降职前为止，家持曾历任兵部少辅、山阴道巡察使等职。可是，到了756年（孝谦天皇天平胜宝八年），曾提携大伴家持的橘诸兄遭撤职，藤原仲麻吕大权在握。758年（天平宝字二年）7月，家持亦被降职为因幡守。多年后，775年（光仁天皇宝龟六年），才被调回任卫门督，其后曾任春宫大夫（781年，光仁天皇宝龟十二年）、中纳言（783年，桓武天皇延历二年）、持节征东将军（784年 ，桓武天皇延历三年）。