自身则被道三当作傀儡，留在守护之座）。得到尾张的织田信秀支援，并与在越前受朝仓孝景庇护的赖纯联手，复归守护之座，不过在不久后的天文15年（1546年），道三与孝景达成和睦，而和睦的条件是赖艺退任守护，于是守护之座就让予赖纯。天文17年（1548年），信秀与道三达成和睦，因此失去后盾。天文21年（1552年）期间，再度被道三流放，于是投靠近江的六角氏，之后再寄寓在弟弟治赖所在的常陆，此时把系图和家宝让渡给治赖，之后投靠上总的土岐为赖，后来投靠甲斐的武田氏，在此段期间因病失明。最后依靠旧臣稻叶一铁而返回