その後、斎藤利堯は信孝と秀吉の対立の中で、親族（甥にあたる）の稲葉一鉄に勧められて信孝から離れ、天正11年（1583年）5月、賤ヶ岳の戦いにより信孝が滅びてからは、誰にも仕えなかったと伝わる（武家事紀）。
然而按《武家事纪记载，随着信孝和秀吉对立，利尧在稻叶一铁的劝谕下离开信孝，并且自天正11年（1583年）5月爆发将信孝势力消灭的贱岳之战后，再未有出仕于任何人。