出生，家中长男。天文12年（1543年），父亲正平参加大内义隆的出云尼子氏远征（月山富田城之战），在遭到大败后并撤退时战死，于是以年仅2岁继承家督。因为过于幼少而不能执行政务，而且本身亦病弱，因此在天文12年（1543年）至天文13年（1544年）受到尼子晴久侵攻，不过家臣团笼城并最终将其撃退，而在天文13年（1544年）因为生病而目盲（一说没有目盲），招致家中动揺。大内义隆判断病弱和眼盲的繁平不可能阻止尼子氏侵攻，天文19年（1550年），义隆和毛利元就介入，以与尼子氏内通，于是从居城高山城中被流放并