隠居後は妻とともに明石へ戻り、養女（妻大原氏の姪）婿で明石藩松平直常家臣・橋本七郎兵衛（200石）宅に同居し、明石領中ノ庄に居住した。『本庄家系譜』によれば主君の松平直常も度々重矩宅へ立ちよるほど、敬意を払われていた。また、筑前二天流第5代目福岡藩の立花峯均は病床の4代目吉田実連の意を受けて元禄14年（1701年）、16年（1703年）の2度、明石にいる柴任を訪ね兵法を伝授され、同じ頃に龍野藩で古い武蔵の流儀「多田圓明流」兵法師範であった多田源左衛門祐久も柴任より二天一流の伝授を受け、新旧流儀の合流がなされている。なお、多田家に代々伝わる享保6年（1721年）作成の『圓明流系図』は柴任の口伝を伺わせる内容で、祐久が当時認識していた武蔵の流儀系統が知られる貴重な史料となっている（龍野市立歴史文化資料館蔵）。
寛永17年（1642年）に肥後入りした宮本武蔵に入門して二天一流兵法を学び、武蔵が死去すると、2代寺尾孫之允勝信に7年随仕して修行に勤め、承応2年（1653年）に寺尾から『五輪書』を相伝され兵法3代となる。のち訳あって肥後国を離国、兄嫁の親戚で武蔵所縁の小倉藩重臣・島村十左衛門を頼り、江戸で旗本家の兵法指南役となる。また十左衛門の紹介にて福岡藩家老黒田（立花）平左衛門重種（丹治峯均の実父）が寄り親となり、万治3年（1660年）に300石で3代藩主黒田光之の御小姓組に召抱えられ、藩士に兵法を指導、福岡藩二天一流の開祖となる。柴任は寛文年間に黒田家も致仕して、大和郡山藩本多政勝に400石で招聘され、ここで重臣・大原勘右衛門の女を娶る。しかし、政勝の死後、藩主相続をめぐって九六騒動がおこり、15万石の本多家の領地のうち、嫡流本多政長に9万石と政勝実子・本多政利に6万石に分割されると、柴任は政利に従った。延宝6年（1678年）に政利の播州明石に移封に従い、同8年（1680年）福岡藩の吉田太郎右衛門實貫に『五輪書』を相伝し、二天一流兵法4代目とした。その後、外甥（妻の甥）大原惣右衛門の早世に伴う大原家の家督相続において意見が入れられなかったことを不満に思い致仕。江戸や近江大津にて浪人するが、貞享4年（1687年）64歳の時に、姫路藩本多政武に500石で招聘され藩主側近の相伴衆となる。なおこれは、合戦のなくなった島原の乱以後、兵法や武芸が軽視される中、兵法に優れた者であれば大藩雄藩の上級家臣として召抱えられ、渡り奉公が可能な時期が江戸時代中期まで続いていたという事例として注目される。
2000年の国勢調査で、このCDPは人口1,020人、392世帯、及び263家族が暮らしている。人口密度は152.6/km² (395.6/mi²) である。63.9/km² (165.6/mi²) の平均的な密度に427軒の住宅が建っている。CDP の人種的な構成は白人83.73%、アフリカ系アメリカ人0.39%、ネイティブ・アメリカン1.86%、アジア系1.67%、太平洋諸島系0.69%、その他の人種8.24%、及び混血3.43%である。人口の22.84%はヒスパニック及びラテン系である。392世帯がのうち、32.9%が18歳未満の子供を持ち、47.4%が夫婦である、12.0%の戸主が夫の無い女性で、32.7%が家族ではない。全世帯のうち24.0%が一人暮らし、そして10.2%が65歳以上の一人暮らしである。平均世帯構成人数は2.56人、平均家族数は3.05人である。CDPの人口のうち18歳未満は26.6%、18歳から24歳が7.5%、26.9%が45歳から64歳、65歳以上が15.2%である。平均年齢は38歳。女100人に対し110.3人、18歳以上の場合は105.2人の男が居る。CDP の中で世帯毎の平均な年収は35,278USドルであり、家族毎の平均な年収は38,571USドルである。男性の平均な年収が33,278USドルに対し女性は26.515USドルである。一人当りの収入 (per capita income) は14,135USドルである。人口の20.9%及び家族の21.2%は貧困線以下である。全人口のうち18歳未満の22.1%及び65歳以上の28.3%は貧困線以下の生活を送っている。都市部とは、この町とナパ郡とソノマ郡を結ぶ狭く曲がりくねった道で遠く隔たっており、ミドルタウンはサンタローザや他のノース・ベイの都市で働く人々のベッドタウンとなっている。上昇するベイ地区の地価は多くの片道１時間以上かけて山を越え通勤する人々を齎した。1900年代中盤、ベイ地区は休暇のための行楽地として有名だったが、1970年代にそれらは破損し、閉鎖した。牧畜と農業は20世紀後半の重要な産業であった。しかし、それらの経済的生育能力が衰えたため、多くの地主は開発を土地から利益を生み出す手段として見ている。