诸兄起用，任命为内舍人。从此，家持被橘诸兄倚为心腹。746年（圣武天皇天平十八年），家持受命为越中守，收取当地资源，以支持橘诸兄修筑规模最大的东大寺。751年（孝谦天皇天平胜宝三年），大伴家持被调回奈良任少纳言。当时，藤原仲麻吕已经权可炙手，牵制了橘诸兄的权势，家持亦改变已往一面倒投向橘诸兄的作风，经常出席藤原仲麻吕派的宴会，与他们往来，并向藤原氏靠拢。其后，至758年（天平宝字二年）遭降职前为止，家持曾历任兵部少辅、山阴道巡察使等职。可是，到了756年（孝谦天皇天平胜宝八年），曾提携大伴家持的橘诸