代开始就持续被尾张国的织田信长侵攻、从祖父一代家臣的流失（森可成、坂井政尚、堀秀重、斋藤利治、明智光秀等）、比祖父和父亲凡庸、以及重用风评不佳的斋藤飞驒守等事，无法得到家臣的信望。同年，在森部之战中，失去斋藤六宿老中的日比野清实和长井卫安等人，遭到织田信长入侵美浓。永禄5年（1562年），有力豪族郡上八幡城城主远藤盛数病死。
美浓攻防战.为了应付信长的侵攻，打算与的浅井长政（曾是父亲义龙的进攻对象）结盟，不过被信长抢佔先机，于是长政与信长结盟，结果长政亦开始侵攻美浓国。此时，从