与自己不和的安藤等西美浓三人众的领地出兵，进行牵制（『江浓记』、『美浓明细记』）。永禄7年（1564年），因为安藤守就和女婿竹中重治引发的「稻叶山城佔拠事件」，与主君龙兴一同被逼出稻叶山城（『美浓雑事记』）。永禄9年（1566年），改为延永姓（延永氏是一色氏的家臣兼担任丹后守护代等的家名），自称延永备中守弘就（『中岛文书』）。之后跟随龙兴继续抵抗织田家，永禄10年（1567年）8月，稻叶山城落入织田家手中，西美浓三人众完全降于织田信长，大名斋藤家灭亡。因此自身亦失去领地，于是与弟弟盛就等日根野一族一同成