私田、因而父亲的领地被没收。1594年时他与其父亲同时前往江户仕奉德川家康。父子俩于1600年在关原之战中立功、父亲因而得以回复旧领大和国柳生庄二千石的领地。1601年之后他成了第二代将军德川秀忠的剑术指导老师、此后亦以剑术教练的身份仕奉第三代将军德川家光。1615年大坂之战时随将军秀忠一同出兵、守护在秀忠的身旁、隔年1616年参与了坂崎直盛反乱未遂事件的交涉与处置。将军对他的信任逐渐加深、在1629年他受封从五位下但马守的官职。1632年担任第一代的幕府总目付（大目付）一职、负责各国大名的监视任务