开蒙面的头巾才知道竟是将军家光，家光颜面大失，却也不好给十兵卫定罪，所以只以有失警觉为名罚十兵卫回奈良老家「柳生庄园」闭门思过，直到十兵卫三十二岁时才原谅他，重新召回身边任职。十兵卫写了一本书——《月见之诸》，记载了他学剑的学校以及受到他父亲的朋友泽庵宗彭在学习上的指导。在这本书中，他简要的提供了关于他从江户城消失开始1631年到1643年这十二年间下落的线索——巡游全国(武者修行)以精进剑术。由于柳生十兵卫的失踪以及没有关于他下落的文献记载，他的经历引起了人们的好奇和推测，然后在很多流行小说中被浪漫化