子には隻眼の剣士として知られる長男の三厳（十兵衛）、家光の寵愛を受けたが父に先立って早世した友矩、父の死後まもなく没した三厳に代わって将軍家師範役を継いだ宗冬、菩提寺芳徳寺の第一世住持となった列堂義仙の4男と他2女がいる。
他的长子是有名的剑士柳生十兵卫、他深受将军家光的赏赐，但可惜在父亲死后不久十兵卫也过世、将军家剑术教练一职遂由十兵卫的弟弟柳生宗冬所继承、成为菩提寺芳德寺的第一世住持列堂义仙则是宗矩的四子。