鳥居耀蔵
また最晩年、昔の部下が訪ねてきたとき「昔、自分は幕府に“外国人を近づけてはならぬ。その害は必ずある”と言い続けたのに誰も耳を傾けなかった。だから幕府は滅んだのだ。もうどうしようもない」と傲然と言い放ち、部下は何も言えず頭を下げて辞したという。これらの事例から、耀蔵は頑迷な人物であった事がわかる。蛮社の獄により日本は多くの人材を失ったが、実行に際しては耀蔵なりの信念を持っていたとも考えられる。ただ、上司・水野忠邦への裏切り行為や同僚・矢部定謙への讒言行為などは、彼の評価を大きく下げている。政敵やそりが合わない者に対する敵意、憎悪はすさまじく、そのひとりである阿部正弘の訃報を聞いた折には「快甚し」と日記に記述している。
遠山景元は当時の江戸庶民の人気と同情を集め、遠山=善玉、鳥居=悪玉の図式ができ上がった。ここから、後に講談や小説、映画やテレビドラマで人気を博することになる『遠山の金さん』の素地、及び時代劇における悪役としての鳥居のイメージができ上がったといわれる。