永禄10年（1567年），北伊势开始被尾张国的织田信长侵攻，于是与重臣山路弹正忠（山路正国和长尾一胜的哥哥）等人防守，令织田军在美浓国局势不稳时撤退。永禄11年（1568年），信长军再度侵攻，因为在战事中失利，于是迎信长的三男信孝为养子，双方和睦（北伊势之战）。此后，以织田家部将的身份转战，在攻略六角氏时（观音寺城之战），令义兄蒲生贤秀降伏等，立下功绩。不过因为轻蔑养子信孝，于是触怒信长，元龟2年（1571年）1月，被押送至贤秀之下，被迫监禁在近江国日野城，神户氏的家督由信孝继承，而以对此抗议的山路弹