兄修筑规模最大的东大寺。751年（孝谦天皇天平胜宝三年），大伴家持被调回奈良任少纳言。当时，藤原仲麻吕已经权可炙手，牵制了橘诸兄的权势，家持亦改变已往一面倒投向橘诸兄的作风，经常出席藤原仲麻吕派的宴会，与他们往来，并向藤原氏靠拢。其后，至758年（天平宝字二年）遭降职前为止，家持曾历任兵部少辅、山阴道巡察使等职。可是，到了756年（孝谦天皇天平胜宝八年），曾提携大伴家持的橘诸兄遭撤职，藤原仲麻吕大权在握。758年（天平宝字二年）7月，家持亦被降职为因幡守。多年后，775年（光仁天皇宝龟六年），才被调