それでも政盛の孫の高梨政頼の頃まで独立性を保ってきたが、村上氏を撃破した甲斐国の武田晴信の侵攻を受け、弘治年間(1555年-1558年)に本拠地中野郷から信越国境に近い飯山郷まで後退した。