夺回本家曾经拥有的安艺守护一职，脱离大内氏管控的好机会。因此，元繁回国后不久便与义兴的养女飞鸟井氏离婚，娶尼子经久的弟弟的女儿为妻，在尼子氏的支援下宣布从大内义兴的势力下独立，脱离了大内氏，并开始侵略大内氏的势力圈。元繁接管了此时正处于内乱，纷争不断的严岛神社神领，又不费吹灰之力便取得了城兵逃亡的大野河内城。他还攻打了，但包围了数月仍没有攻陷。另一方面，义兴为了牵制武田方的一族（壬生氏、有田氏、今田氏），命令安艺国人毛利兴元和出阵至山县郡有田。由于有田城被攻破，元繁解除了对己斐城的包围，将矛头转向北方，开始