上野で新田荘を拠点に家純や上杉氏と戦うが、応仁2年(1468年)に綱取原合戦で上杉側が勝利する等、段々追い詰められていく。