大河原の地でなおも信濃の宮方勢力再建を図ったと思われるが、正平24年/応安2年(1369年)には信濃守護を兼ねる関東管領上杉朝房の攻撃を受け、文中3年/応安7年(1374年)、ついに頽勢を挽回できぬまま36年ぶりに吉野に戻った。