天平勝宝9年（757年）5月に叔父の藤原仲麻呂が紫微内相に任ぜられて権力を掌握し、それまで右大臣として太政官の首班に立っていた父・豊成が政権の外に押し出され気味となると、同年6月に武良自は伯耆守として地方官に転じる。
天平胜宝9年（757年）5月，武良自叔父藤原仲麻吕获任命为紫微内相（日语：紫微中台），掌握实权，而一直以来以右大臣身份担当首席太政官的父亲藤原豊成（日语：藤原豊成）则逐渐失势，同年6月，武良自改任伯耆守，出任地方官。