柳生谷归途路上坠马生命垂危。更不幸的是1571年长子严胜于辰市合战中被铁砲重创后无法挥剑。其后宗严退隐。但有传宗严在太合检地中有隐田被揭发，并被没收领地。在1594年遇上德川家康，家康向宗严请求成为其剑术指南役，但宗严以年事已高为由婉拒，并推举五男柳生宗矩代为出仕。最后柳生接受了500石的领地。