父安藤守就（西美浓三人众之一）杀死飞驒守，居城稻叶山城更被重治佔据。此时，逃向，之后更逃到。在重治和守就归还稻叶山城后，再次成为美浓的领主，不过斋藤氏的衰退开始显露。永禄5年（1564年）期间，信长开始筑起，东美浓（因为远山氏与织田氏是亲戚等原因，原本织田氏在该地域就有很强影响力）在织田氏的压力下，有力领主、、等开始投向织田氏。永禄8年（1565年），降服于织田家的城主佐藤忠能杀死城主岸信周。此时，城主兼大叔父长井道利亦被投向织田家的斋藤利治击破，美浓中部地方亦变成信长的势力圈。永禄10年（1567