家光の勘気を受けて致仕してから再び出仕するまでの12年間について、三厳自身は著作の中で故郷である柳生庄にこもって剣術の修行に専念していたと記している。一方でこの間、諸国を廻りながら武者修行や山賊征伐をしていたという説もある。三厳の自著での記述と相反しているとはいえ、宝暦3年（1753年）に成立した柳生家の記録である『玉栄拾遺』でも取り上げていることから、三厳の死の100年後には既に広く知られていたものと思われる。後にこの伝承が下敷きとなって下記のような様々な逸話が派生し、今日に至るまで創作作品の素材ともなっている。
若い頃に失明したという伝説があり、片目に眼帯をした「隻眼の剣豪」のイメージが広く知られている。これは幼い頃「燕飛」の稽古でその第四「月影」の打太刀を習った時に父・宗矩の木剣が目に当たった（『正傳新陰流』）、あるいは宗矩が十兵衛の技量を見極めるために礫を投げつけて目に当たったため（『柳荒美談』）などといわれる。しかし、肖像画とされる人物は両目が描かれており、当時の資料・記録の中に十兵衛が隻眼であったという記述はない。
慶安3年（1650年）、鷹狩りのため出かけた先の弓淵（現・京都府相楽郡南山城村。早世した弟友矩の旧領）で急死した。奈良奉行・中坊長兵衛が検死を行い、村人たちも尋問を受けたが、死因は明らかにならないまま、柳生の中宮寺に埋葬された。享年44。墓所は東京都練馬区桜台の広徳寺および奈良県奈良市柳生町の芳徳寺にある。三厳には嗣子がなかったものの、亡き父・宗矩の勤功を理由に取り潰しは避けられ、弟の宗冬が自身の領地を返上した上で三厳の跡を継ぐことを許された。三厳の遺児である2人の娘（長女・松、次女・竹）は、家光の命により宗冬が養育することとなり、後にそれぞれ旗本に嫁いでいる。その母である三厳の妻（大和の豪族・秋篠和泉守の娘）は貞享4年（1687年）まで生き、死後は麻布の天真寺に葬られたという。三厳の跡を継いだ宗冬はその後順調に加増を重ね、寛文9年（1669年）には総石高1万石となって再度大名としての地位を回復させた。そのため、三厳自身は大名に列したことはないものの、便宜上柳生藩第2代藩主とされている。
寛永16年（1639年）2月14日、家光の御前にて、父の高弟木村友重（助九郎）と弟の宗冬と共に兵法を披露する。寛永19年（1642年）2月から同年3月にかけて、謹慎していた12年間で収集した資料やそれまでに記した草稿を元に、流祖上泉信綱以来の新陰流の術理をまとめ上げ、後に代表作と評される『月之抄』を著す。正保3年（1646年）に父宗矩が死去すると、遺領は宗矩の遺志に基づき、一旦幕府に返上された上で家光の裁量により兄弟の間で分知され、三厳は8300石を相続して家督を継ぐ。この時、三厳の石高が1万石を下回ったため、宗矩が柳生藩を立藩してから11年目にして、柳生家は大名から旗本の地位に戻った。宗矩生前の三厳は「強勇絶倫」で皆畏れて従う風があったが、家督を継いで以後は寛容になり、政事にも励み、質実剛健な家風を守り、奴婢にも憐みをかけて処罰することもなかったという。その後間もなく役目を辞して柳生庄に引き篭もったとも言われるが、詳細は不明。
フォボスの影は、1999年8月26日にマーズ・グローバル・サーベイヤーによって撮影された。この画像は、1999年11月1日にアメリカ航空宇宙局の報道発表によって公開された。アメリカ航空宇宙局が発表した画像には時刻情報が記載されているが、実際にはフォボスの影が撮影された時刻とは一致していないことに注意して欲しい。この時刻は「画像の撮影開始時刻」である。この画像を撮影したマーズ・グローバル・サーベイヤーは、火星の南極と北極を通る極軌道を太陽同期軌道で周回し、117.65分で1周していた。そして直下に見える地形を軌道上を移動しながら撮影していたため、地球に送信される画像は非常に細く長い画像となった。撮影は南極から北極へ向かう際に行われるため、1枚の画像を撮影するためにはおよそ1時間を必要とした。マーズ・グローバル・サーベイヤーから送信された1枚の画像の高さは43200ピクセルであったことから、フォボスの影が撮影された実際の時刻は、ピクセル間の時刻差とフォボスの影が写っているピクセルを調べることによって算出される。例えば、マーズ・グローバル・サーベイヤーによって撮影されたフォボスの影は、実際にはM04-03241とM04-03242を元に生成されている。これらの画像は高さ10800ピクセルの画像を4枚連結したものであり、1枚あたり80.4800ミリ秒を要している。フォボスの影は下から6400ピクセル目を中心に写っているため、実際にこのフォボスの影が撮影された時刻は、撮影開始から 6400 × 0.0848 × 4 = 2060.3 秒、すなわち34分と20.3秒後であることが分かる。撮影開始時刻は 03:26:13.01 UTC であるので、これに34分と20.3秒を加えた 04:00:33.3 UTC が、実際にフォボスの影が撮影された時刻となる。