可是，到了756年（孝谦天皇天平胜宝八年），曾提携大伴家持的橘诸兄遭撤职，藤原仲麻吕大权在握。758年（天平宝字二年）7月，家持亦被降职为因幡守。多年后，775年（光仁天皇宝龟六年），才被调回任卫门督，其后曾任春宫大夫（781年，光仁天皇宝龟十二年）、中纳言（783年，桓武天皇延历二年）、持节征东将军（784年 ，桓武天皇延历三年）。由于大伴家持在其宦海生涯中，患得患失，曾为了攀附橘诸兄及藤原氏而苦恼，在其作品中亦多有反映仕途经历。值得注意的是他写了许多以杜鹃（家持作品中称为「霍公鸟」）、橘、藤为题的歌