戦国時代に入ると、細川勝久の死去に伴う細川備中守護家(総州家)の断絶により一時没落し、伊予国新居郡に逃れていたが、立石城の石川源三ら庶家の支えを受けて、天文2年(1533年)には石川幸久が幸山城を居城化し、窪屋・都宇・賀陽郡南部を影響下におく備中の有力国人となった。