このように織田軍との戦いで度々功を挙げていたが、信長の勢いはやがて徐々に斎藤を凌駕し、永禄10年（1567年）の稲葉山城の戦いで戦国大名としての斎藤氏が滅亡すると兄弘就ともども浪人となった。
虽然与织田军作战屡立军功，但信长的势力渐渐凌驾齐藤，永禄10年（1567年）的稻叶山城之战后，战国大名齐藤氏灭亡，与兄长弘就沦为浪人。