身份担当首席太政官的父亲则逐渐失势，同年6月，武良自改任伯耆守，出任地方官。最终同年7月爆发的中，武良自的父亲丰成遭到连坐而被罢免右大臣职务，左迁为。天平宝字3年（759年），得势的仲麻吕，其子、（升至从四位下）和（正五位下），失势的武良自只能转任丹后守，继续地方官的工作。天平宝字5年（761年），长野公足就任丹后守，可见武良自在任期尚未结束前便辞去丹后守职务。其后，《六国史》再没有武良自出任官职的纪录，《尊卑分脉》则指出武良自改名良因，因此推断有可能当时已经出家。