柳生藩初代藩主。晚年仍持续受恩赏、官阶晋升至从四位下、领地达一万二千五百石。
逝世.他于1646年逝世后，葬在友人泽庵宗彭所开设的神护山芳德寺（在今奈良市柳生下町）。享年76岁。但是现今在东京都练马区樱台的圆满山广德寺和京都府南山城村田山的华将寺遗迹也同时有他的墓碑。他的长子是有名的剑士柳生十兵卫、他深受将军家光的赏赐，但可惜在父亲死后不久十兵卫也过世、将军家剑术教练一职遂由十兵卫的弟弟柳生宗冬所继承、成为菩提寺芳德寺的第一世住持列堂义仙则是宗矩的四子。其在政治与计策上的造