叶山城（『美浓雑事记』）。永禄9年（1566年），改为延永姓（延永氏是一色氏的家臣兼担任丹后守护代等的家名），自称延永备中守弘就（『中岛文书』）。之后跟随龙兴继续抵抗织田家，永禄10年（1567年）8月，稻叶山城落入织田家手中，西美浓三人众完全降于织田信长，大名斋藤家灭亡。因此自身亦失去领地，于是与弟弟盛就等日根野一族一同成为浪人。
流浪时期.在斋藤家灭亡后，与日根野一族仕于远江国的今川氏真（在『太合记』中记载是前往关东）。永禄11年（1568年）12月27日，挂川城城主朝比奈