この間に石橋氏の重臣大内義綱が家中での力を強め、尚義を圧倒するようになり、天文19年(1550年)には義綱によって塩松城二の丸に幽閉され、重臣の石橋四天王(大内・大河内・石川・寺坂)に実権を奪われた。