后，道利与继子庆隆继续对抗信长，永禄10年（1567年），稻叶山城被攻佔后，他与龙兴一同逃亡至伊势（亦有说法是离开龙兴，成为浪人）。元龟元年（1570年）爆发的长岛一向一揆中，道利协助一揆与信长对抗。及后按《》记载，道利出仕于与信长不和的室町幕府第15任将军足利义昭。元龟2年（1571年）8月28日，道利在摄津爆发的白井河原之战中战死。另外有说法指道利与龙兴一同死于天正元年（1573年）爆发的刀根坂之战。有些说法认为道利死于稻叶山城之战。其后，道利之子道胜、赖次和时利等改姓井上，先后出仕于信长和丰臣秀吉