しかし父の代から続く尾張国の織田信長の侵攻、祖父の代より続く家臣の流出（森可成・坂井政尚・堀秀重・斎藤利治・明智光秀等）、祖父や父と比べると凡庸で、評判の悪い斎藤飛騨守の重用などにより、家臣の信望を得ることができなかった。
因为从父亲一代开始就持续被尾张国的织田信长侵攻、从祖父一代家臣的流失（森可成、坂井政尚、堀秀重、斋藤利治、明智光秀等）、比祖父和父亲凡庸、以及重用风评不佳的斋藤飞驒守等事，无法得到家臣的信望。