武流放到越前，被称为「浓州太守」，实质上成为守护。此后，后盾长弘、新左卫门尉等人相继死去，于是重用新左卫门尉的儿子规秀（后来的斋藤道三），保持自身势力。天文4年（1535年）6月，执行父亲第17回忌祭，为了在国内宣告自己的正统性，与兄长的继承人兼外甥赖纯对立，因为朝仓氏、六角氏等人支援赖纯方，战火波及美浓全国。同年7月1日，新的守护所枝广馆被长良川大洪水淹浸，于是移至稻叶山下。同年同月22日，因为第12代将军足利义晴的执奏，于是任官修理大夫。翌年（1536年），因为勅许而迁任美浓守，正式被任命为守护。