幕府总目付（大目付）一职、负责各国大名的监视任务。1636年累计加增的领地已达一万石而得以位列大名、在大和国成为柳生藩初代藩主。晚年仍持续受恩赏、官阶晋升至从四位下、领地达一万二千五百石。
逝世.他于1646年逝世后，葬在友人泽庵宗彭所开设的神护山芳德寺（在今奈良市柳生下町）。享年76岁。但是现今在东京都练马区樱台的圆满山广德寺和京都府南山城村田山的华将寺遗迹也同时有他的墓碑。他的长子是有名的剑士柳生十兵卫、他深受将军家光的赏赐，但可惜在父亲死后不久十兵卫也过世、将军家剑术教练