そんな無聊を慰めるため、また健康維持のため、若年からの漢方の心得を活かし幽閉屋敷で薬草の栽培を行った。また自らの健康維持のみならず、領民への治療も行い慕われた。林家の出身であったため学識が豊富で、丸亀藩士も教えを請いに訪問し、彼らから崇敬を受けていた。このように、軟禁されていた時代の耀蔵は“妖怪”と渾名され嫌われた奉行時代とは対照的に、丸亀藩周辺の人々からは尊敬され感謝されていたようである。丸亀にいた間に、鳥居が食べたビワの種を窓から投げ捨てていたら、彼が去る際に立派な大木に育っていた、と勝海舟が記している。
人物・逸話.
同時代人の人物評が残っている。
残された日記や詩文から、耀蔵は自分を退けて開国したことが幕府滅亡の原因であると考え、当時流行した洋風軍隊や民衆の軍事教練に批判的な目を向けているのがわかる。実際にこれらの軍制改革は武士中心の従前の軍事制度、ひいては幕府を含む封建制を否定するものである。また最晩年、昔の部下が訪ねてきたとき「昔、自分は幕府に“外国人を近づけてはならぬ。その害は必ずある”と言い続けたのに誰も耳を傾けなかった。だから幕府は滅んだのだ。もうどうしようもない」と傲然と言い放ち、部下は何も言えず頭を下げて辞したという。これらの事例から、耀蔵は頑迷な人物であった事がわかる。蛮社の獄により日本は多くの人材を失ったが、実行に際しては耀蔵なりの信念を持っていたとも考えられる。ただ、上司・水野忠邦への裏切り行為や同僚・矢部定謙への讒言行為などは、彼の評価を大きく下げている。政敵やそりが合わない者に対する敵意、憎悪はすさまじく、そのひとりである阿部正弘の訃報を聞いた折には「快甚し」と日記に記述している。
遠山景元は当時の江戸庶民の人気と同情を集め、遠山=善玉、鳥居=悪玉の図式ができ上がった。ここから、後に講談や小説、映画やテレビドラマで人気を博することになる『遠山の金さん』の素地、及び時代劇における悪役としての鳥居のイメージができ上がったといわれる。
詩文.
誰カ知ラン故虜ニ深望アルヲ
鳥居耀蔵を扱った作品.
小説.
鳥居耀蔵を好意的に書いている小説として
ナチュラルトランペット
ナチュラルトランペット（）は、の音を演奏できるバルブを持たない金管楽器の一種である。
歴史.