しかし5年後、豊臣氏によって北条氏が滅ぼされたため、しばらく潜伏していたが、後に遠縁にあたる奥山盛昭を通じて秀吉に召し出された。
但是在5年后，因为北条氏被丰臣氏消灭而暂时避难，后来通过远亲奥山盛昭而被秀吉召回，恢复佐久间姓。