，他的经历引起了人们的好奇和推测，然后在很多流行小说中被浪漫化。在他父亲死后住在江户的几年间，十兵卫辞退了他的幕府工作并回到他的家乡，并于1650年初在那里因为不明原因逝世。某些报告称他因为心脏病而逝世，另一些人说他被他异母兄弟派手下暗杀。他在东京都练马区樱台的和奈良县奈良市柳生村的都有墓。
日本流行文化中的柳生十兵卫.柳生十兵卫三严在日本正史中有可能因为身份低微而被驱逐出历史，但是对于那些试图填补他消失的那几年间经历的作者，艺术家和电影制作人来说则不然。最早关于十兵卫