氏和睦，争乱亦渐渐消失。天文8年（1539年），与赖纯之间成立和议。天文10年（1541年），发生重臣斋藤道三毒杀赖艺的弟弟赖满的事件，于是与道三的关系险恶，双方渐渐对立。天文11年（1542年），赖纯守备的大桑城被攻下，于是移至鹭山城。此年，与儿子赖次一同被道三流放到尾张（一说指此时被流放的只是赖次，而赖艺自身则被道三当作傀儡，留在守护之座）。得到尾张的织田信秀支援，并与在越前受朝仓孝景庇护的赖纯联手，复归守护之座，不过在不久后的天文15年（1546年），道三与孝景达成和睦，而和睦的条件是赖艺退任