その後は斯波氏に近い動きを見せ、正平21年/貞治5年(1366年)に高経が失脚すると、連座を恐れて越前に没落したという風聞が立っている。