その後、戦乱で牛丸氏に渡った後、放棄された城に、永禄7年(1564年)に武田家重臣山県昌景から逃れた上杉家家臣塩屋秋貞が入った。