不过斋藤氏的衰退开始显露。永禄5年（1564年）期间，信长开始筑起，东美浓（因为远山氏与织田氏是亲戚等原因，原本织田氏在该地域就有很强影响力）在织田氏的压力下，有力领主、、等开始投向织田氏。永禄8年（1565年），降服于织田家的城主佐藤忠能杀死城主岸信周。此时，城主兼大叔父长井道利亦被投向织田家的斋藤利治击破，美浓中部地方亦变成信长的势力圈。永禄10年（1567年），西美浓三人众的稻叶良通、氏家直元、安藤守就等人成为信长的内应，稻叶山城被信长攻陷（稻叶山城之战），于是在城下的长良川乘船逃亡，的长岛。