江川英龍
しかし、幕府内の蘭学を嫌う鳥居耀蔵ら保守勢力がこの動きを不服とした。特に耀蔵からすれば過去に英龍と江戸湾岸の測量手法を巡って争った際に、崋山の人脈と知識を借りた英龍に敗れ、老中・水野忠邦に叱責された事があり、職務上の同僚で目の上のたんこぶである英龍、そして彼のブレーンとなっていた崋山らが気に入らなかった。天保10年(1839年)、ついに耀蔵は冤罪をでっち上げ、崋山・長英らを逮捕し、尚歯会を事実上の壊滅に追いやった(蛮社の獄)。しかし英龍は彼を高く評価する忠邦に庇われ、罪に落とされなかったというのが通説である。
これに対して、英龍と長英は面識がなく、また崋山と簡堂の接点も不明で、崋山と秋帆も面識はなかったとの指摘がある。崋山・長英らはいずれも内心では鎖国の撤廃を望んでいたが、幕府の鎖国政策を批判する危険性を考えて崋山は海防論者を装っていた。田原藩の海防も助郷返上運動のための理由づけとして利用されただけだった。海防論者である英龍は崋山を海防論者と思って接触し、逆に崋山はそれを利用して英龍に海防主義の誤りを啓蒙しようとしたもので、やがて英龍も崋山が期待したような海防論者ではないことを悟ったと思われる。また、江戸湾巡視の際に耀蔵と英龍の間に対立があったのは確かだが、もともと耀蔵と英龍は以前から昵懇の間柄であり、両者の親交は江戸湾巡視中や蛮社の獄の後も、耀蔵が失脚する弘化元年(1844年)まで続いている。蛮社の獄に際しても耀蔵は英龍を標的とはしておらず、英龍は蛮社の獄とは無関係だとしている。なお、尚歯会の会員で処罰を受けたのは崋山と長英のみで、尚歯会自体は弾圧を受けていない。