护所枝广馆被长良川大洪水淹浸，于是移至稻叶山下。同年同月22日，因为第12代将军足利义晴的执奏，于是任官修理大夫。翌年（1536年），因为勅许而迁任美浓守，正式被任命为守护。同时期，迎娶六角定赖的女儿，因为与六角氏和睦，争乱亦渐渐消失。天文8年（1539年），与赖纯之间成立和议。天文10年（1541年），发生重臣斋藤道三毒杀赖艺的弟弟赖满的事件，于是与道三的关系险恶，双方渐渐对立。天文11年（1542年），赖纯守备的大桑城被攻下，于是移至鹭山城。此年，与儿子赖次一同被道三流放到尾张（一说指此时被流放