赖武被流放而前往越前，并扫除赖武方的势力。不过在永正16年（1519年），得到朝仓孝景支援的赖武方向美浓侵攻，赖艺方被压倒，赖武方胜利，赖武就任美浓守护。不过此时仍然计划夺取政权，在大永5年（1525年）再次举兵，佔据美浓守护所福光馆。享禄3年（1530年），再次把兄长赖武流放到越前，被称为「浓州太守」，实质上成为守护。此后，后盾长弘、新左卫门尉等人相继死去，于是重用新左卫门尉的儿子规秀（后来的斋藤道三），保持自身势力。天文4年（1535年）6月，执行父亲第17回忌祭，为了在国内宣告自己的正统性，与