斎藤利良
彦四郎は美濃に再入国し、逆に頼武と利良は、利良の従兄である越前の朝倉孝景(宗淳)を頼って亡命した。頼芸派は室町幕府に御内書を出してもらい、頼武を上洛させるよう朝倉氏に迫ったが、朝倉孝景はこれを無視した。この間も美濃国内で頼武派と頼芸派の合戦が続いている。
永正16年(1519年)6月16日に土岐政房が没し、美濃守護職が空位となると、朝倉孝景は弟の景高に美濃出陣を命令、景高は兵3000を率いて頼武、利良と共に美濃に侵攻、連戦連勝し、頼武は美濃守護となることができた。彦四郎は失脚か戦死したと見られる。
頼武政権下で利良は守護代として力を揮うが、永正18年(1521年)には目立った活動は見られなくなり、天文7年(1538年)9月1日に死去して、利親の弟斎藤利茂(斎藤利為の子とも)が新守護代として登場する。
殺害されたとされる。その後持是院家は近衛稙家の庶子とされる多幸丸が斎藤道三の養子となり、斎藤正義と名乗って持是院家の名跡を継いだと思われる。