その後も継子の遠藤慶隆らと共に信長に抵抗するが、永禄10年（1567年）、稲葉山城が陥落したため、龍興と共に長良川を降り伊勢国に逃れた。
其后，道利与继子庆隆继续对抗信长，永禄10年（1567年），稻叶山城被攻占后，他与龙兴一同逃亡至伊势（亦有说法是离开龙兴，成为浪人）。