9年（1512年）逃亡到尾张的前守护代彦四郎连络，等待反击机会。永正15年（1518年）8月10日，双方再次发起合战，这次赖艺派获胜，彦四郎再次进入美浓。此时与赖武一同前往越前投靠从兄朝仓孝景（宗淳）。赖艺派向室町幕府请求发出御内书，迫使朝仓氏送赖武上洛，不过孝景对此无视。这段时期，美浓国内亦持续着赖武派和赖艺派的合战。永正16年（1519年）6月16日，土岐政房死去，美浓守护职变成空位，朝仓孝景命令弟弟景高向美浓出阵，景高率兵3千，与赖武、利良一同侵攻美浓，连战连胜，赖武终于成为美浓守护，而彦四郎