井顺庆及后来三好长庆的家臣。其后更成为织田信长进入大和国的向导。但于1566年被松永久秀属下的多武峰众徒作战时手遭射伤，并在1568年于柳生谷归途路上坠马生命垂危。更不幸的是1571年长子严胜于辰市合战中被铁砲重创后无法挥剑。其后宗严退隐。但有传宗严在太合检地中有隐田被揭发，并被没收领地。在1594年遇上德川家康，家康向宗严请求成为其剑术指南役，但宗严以年事已高为由婉拒，并推举五男柳生宗矩代为出仕。最后柳生接受了500石的领地。