山进行剑术修行并且负责照顾信纲的生活。跟随信纲服侍长野家而活跃于长野家与武田家及北条家的战斗之中。在长野业盛自杀而使长野家灭亡后，与进行武术修行的信纲一起离开。据说在永禄6年（1563年）代替信纲接受当时被称为畿内第一的柳生宗严的三次挑战而全胜，但这是江户时代的记载，尾张柳生家中的记载则是由信纲自己接受挑战，另外也有记载是铃木意伯（神后伊豆守）接受挑战的文献。不管如何，宗严都因为败战而知道自己的不足，于是立刻成为信纲的弟子。在柳生之里与信纲告别后，单独游历各地进行修行，之间也担任过织田信忠、丰臣秀次、黑