しかし、繁平は幼少の上に病弱だったため、大内義隆や毛利元就に尼子氏の侵攻が始まった際に防げないと懸念され、天文19年（1550年）、尼子氏と内通した疑いで拘禁され、強引な手段で強制的に隠居・出家に追い込まれた。
大内义隆判断病弱和眼盲的繁平不可能阻止尼子氏侵攻，天文19年（1550年），义隆和毛利元就介入，以与尼子氏内通，于是从居城高山城中被流放并拘禁。