长期参与政事的显时由于患上胃病而辞任，但是他深得贞时信赖，在显时退休后最贞时仍然多次询问其意见。正安3年（1301年）3月28日，显时死去，享年54岁，家督之位由其子北条贞显继承，金泽北条家亦继续获得得宗家重用，屡居要职。显时与父亲一样好学，为建立金泽文库作出贡献。