21年（1552年）期间，再度被道三流放，于是投靠近江的六角氏，之后再寄寓在弟弟治赖所在的常陆，此时把系图和家宝让渡给治赖，之后投靠上总的土岐为赖，后来投靠甲斐的武田氏，在此段期间因病失明。最后依靠旧臣稻叶一铁而返回美浓，在天正10年12月4日（1582年12月28日）死去。