直江景纲家夺取家宝大薙刀。直江知道消息后，立即于庭园备有严密守卫、警卫犬防范欲取其命，段蔵事前早察知并施逢犬之术毒杀警犬后带着直江家的女儿一起离开云云。自从这件事后，谦信对他相当惊恐且警戒，开始疏离他，甚至下令大和守暗杀他，于是他离开了上杉家，转而投效武田信玄。信玄命加藤飞越高塀，着地点暗藏陷阱隐缚长枪并盖上伪装，加藤飞越高塀时，视破陷阱立即于空中反转、逃过一劫，技惊四座。信玄对于其惊人的忍术一样相当警慎防备。据传说因为段藏私底下串通织田信长，信玄遂在1569年时，趁他如厠时命令马场信春（另有一说是