À la suite de l'alliance Oda/Tokugawa qui aboutit à la désolation du domaine des Takeda dans la province de Kai en 1582, Kagefusa fait en conséquence défection vers Tokugawa Ieyasu et devient plus tard obligé de l'un de piliers du pouvoir, Ii Naomasa. Comme il est notable que Kagefusa acquiert une grande confiance et est très respecté par son nouveau commandant, cela est peut-être en partie justifié par sa remarquable bravoure durant la bataille de Mikatagahara de 1584, la campagne d'Odawara de 1590 et la campagne de Sekigahara qui s'ensuit durant cette même année 1600, qui est pour Kagefusa l'occasion de se faire un nom plus important parmi les Tokugawa. Entré dans l'époque d'Edo par une augmentation de ses revenus de "koku" en raison de ses performances passées, Kagefusa prend part à la campagne d'hiver d'Osaka et à la fin de la campagne, est invité pour partager une collation avec Tokugawa Ieyasu pour honorer ses mérites passés et présents.