疏离他，甚至下令大和守暗杀他，于是他离开了上杉家，转而投效武田信玄。信玄命加藤飞越高塀，着地点暗藏陷阱隐缚长枪并盖上伪装，加藤飞越高塀时，视破陷阱立即于空中反转、逃过一劫，技惊四座。信玄对于其惊人的忍术一样相当警慎防备。据传说因为段藏私底下串通织田信长，信玄遂在1569年时，趁他如厠时命令马场信春（另有一说是土屋昌次）将其暗杀。享年67岁。因其杰出的忍术而有「飞鸢加藤」(飞び加藤、或称鸢加藤。发音一样。)的称唿。