护在秀忠的身旁、隔年1616年参与了坂崎直盛反乱未遂事件的交涉与处置。将军对他的信任逐渐加深、在1629年他受封从五位下但马守的官职。1632年担任第一代的幕府总目付（大目付）一职、负责各国大名的监视任务。1636年累计加增的领地已达一万石而得以位列大名、在大和国成为柳生藩初代藩主。晚年仍持续受恩赏、官阶晋升至从四位下、领地达一万二千五百石。
逝世.他于1646年逝世后，葬在友人泽庵宗彭所开设的神护山芳德寺（在今奈良市柳生下町）。享年76岁。但是现今在东京都练马区樱台的圆满山广