2年（1543年）至天文13年（1544年）受到尼子晴久侵攻，不过家臣团笼城并最终将其撃退，而在天文13年（1544年）因为生病而目盲（一说没有目盲），招致家中动揺。大内义隆判断病弱和眼盲的繁平不可能阻止尼子氏侵攻，天文19年（1550年），义隆和毛利元就介入，以与尼子氏内通，于是从居城高山城中被流放并拘禁。对此反对的家臣田坂全庆等人被诛杀，由此义隆令已经继承竹原小早川氏的元就的三男小早川隆景与繁平的妹妹结婚，并在天文20年（1551年）令隆景继承沼田小早川氏的家督。如此，两小早川家再次统一，不过隆景与