剑术教练的身份仕奉第三代将军德川家光。1615年大坂之战时随将军秀忠一同出兵、守护在秀忠的身旁、隔年1616年参与了坂崎直盛反乱未遂事件的交涉与处置。将军对他的信任逐渐加深、在1629年他受封从五位下但马守的官职。1632年担任第一代的幕府总目付（大目付）一职、负责各国大名的监视任务。1636年累计加增的领地已达一万石而得以位列大名、在大和国成为柳生藩初代藩主。晚年仍持续受恩赏、官阶晋升至从四位下、领地达一万二千五百石。
逝世.他于1646年逝世后，葬在友人泽庵宗彭所开设的神护