Nobutora vivió en un triste retiro en Suruga (en la frontera sur de Kai) el resto de su vida, custodiado por el clan Imagawa, por entonces dirigido por Imagawa Yoshimoto, "daimyo" de Suruga.