旧美馬郡穴吹町の北西部に位置。穴吹町南端の八面山から北方に延びる山脈が吉野川の岸に達して東西に広がるT字型の山地域をなす。この山はT次の右上に相当する。西方約2kmの地点に高丸がある。高丸から三ツ頭山へは雄大な台形をなす山地である。山頂付近は東西1kmにわたって3つのピークがある。頂上に剣山神社が祀られている。登山道はJR小島駅・穴吹駅付近から通じている。
母方の祖父は、鎌倉河岸の船宿「岡本屋正兵衛」に生まれた息子だったが、岡本屋を飛び出して鳶職・火消しになってしまう。祖母は武士の家出身で、その二人の間に生まれた娘が、岡本義（後の8代目正蔵）の母親である。稲荷町時代の逸話、名跡の返還など古き良き噺家として名を残した事でも知られる。「かくしゃくとした老人の噺家の代名詞」としてビートたけしなどに引き合いに出され、秋本治の漫画「こちら葛飾区亀有公園前派出所」では「彦六みたいな奴だ」との台詞が登場する。独特な人柄、最晩年の非常に特徴的なヘナヘナしたしゃがれ声やスローなテンポの話し方などから、落語家などに物真似されることが多い。語尾を曖昧にせず常に明瞭に発声する独特の語り口は、若いころに三遊一朝に徹底的に芝居噺を仕込まれたためだと本人は語っている。弟子である林家正雀は彦六の物真似が得意で、寄席の高座で披露することがある。また、正雀の兄弟子である林家木久扇も二つ目昇進まで付人として面倒を見て貰った師匠彦六の物真似が得意で、新作落語「彦六伝」を十八番としている。通称「トンガリ」。曲ったことが嫌いで、すぐにカッとなるところから来ている。弟子に対しても、失敗する度に破門を口にする。しかし謝れば許し、翌日にはもうケロリとしている。若い頃は、学があり理屈っぽいことから噺家仲間から「インテリ」「新人」（学生運動団体の新人会から）と呼ばれ、「菜ッ葉服（労働服）をきて共産党とつきあっている」と陰口を叩かれた。実際に日本共産党の熱烈な支持者として知られるが、イデオロギーに共感した訳ではなく、本人談によれば「あたしゃ判官贔屓」あるいは「共産党は書生っぽいから好きなんですよ。」とのことであった。自身が贔屓にしている共産党金子満広などに、参院議員時代の7代目立川談志が侮辱的な野次を飛ばして辞職後も場外で続けていたことを快く思っておらず、会えばしょっちゅう喧嘩になっていたという、いかにも通称「トンガリ」らしいエピソードがある。その一方で談志については、選挙活動を手伝ったり、「自殺するのではないか」という危惧を親しい知人にしばしば漏らしていた。なお、談志本人も自殺願望があったことを後に認めている。詳細は立川談志の項を参照。30年以上に亘って朝日新聞を愛読したが、紙上で落語評論家が当代の名人について、5代目古今亭志ん生・8代目桂文楽・6代目春風亭柳橋・10代目金原亭馬生の名を挙げ「ここまでくると次の指が折れない」と書いたことに激怒し、執筆者に宛てて「お前さんの小指はリウマチじゃねえのかい」と書いた葉書きを速達で送りつけ、朝日新聞の購読を停止し、しんぶん赤旗を取るようになった。江戸、明治の香りを持った人物だが、オフの時は英国調に洋服も着こなし、意外に現代的な面があった。巡業に出ると必ず昼食はカレーライスで、客が自宅に遊びにくると「どうです。コーシー（コーヒーの下町訛り）でも。」と勧めていた。朝食は必ずジャムを塗ったトーストにコーヒーだった。無駄使いを嫌い、新聞の折込みチラシの中で片面印刷のチラシを見つけたら切ってネタ帳の代用していたという逸話があるほど。仕事で頻繁に寄席へ通うため「通勤用定期券」で地下鉄を利用していたが、「これは通勤用に割り引いて貰っているんだから、私用に使うべきでない」として、私用で地下鉄に乗る際には別に通常乗車券を購入し、改札口では駅員に突きつけるように見せていた。談志もこの律儀さには呆れつつも感心し、国会議員当時に「世の中にはこんな人もいる」と国会で彦六の逸話を紹介している。せっかちな性格で、飛行機を使って東京に帰った時、たまたま羽田空港が満員のため、しばらく上空を旋回したことに「てめえの家の玄関先まできてて入れねえって法があるもんけい。」と腹を立て、爾来、飛行機を使わず鉄道で地方巡業に行くようになった。それでも、出発の1時間前にホームに向かうので周囲から早すぎると止められても、「遅れることがあるんだから、間違って早く出るかもしれねえ。」と言って意に介さなかった。5代目柳家小さん名跡の襲名をめぐり、彦六は弟弟子9代目柳家小三治（後の5代目小さん）と争ったが、当時の大御所である8代目桂文楽に若いながらも見込まれていた9代目小三治が5代目小さんを襲名することになる。替わりに貰うことになったのが、空き名跡だった8代目の正蔵であった。この際に浅草の金看板だった「山春」山田春雄は興行の関係で彦六と縁があった関係で法界悋気を病んだと「聞書き」の中で北村銀太郎は説明している。稲荷町の住居は昔ながらの四軒長屋の隅の家で、近所に銭湯があり、まさに落語の世界そのままだったという。玄関には「林家」の暖簾がかかっており、春夏・秋冬で2色あった。現在、長屋は取り壊されコインパーキングになっている。銭湯は近所の「寿湯」が昔風の銭湯の印象を残した建物で営業しているが、向かいの同潤会上野下アパートメントは「最後の同潤会アパート」として惜しまれながらも2013年に解体されている。