LSEは、社会科学専門の大学なので理系の大学との比較は本来不可能である。しかし、イギリス政府が行っている公的な研究査定や新聞社の評価などで、LSEの現状やイギリス国内や世界における位置づけがある程度、把握できる。
やがて家斉が隠居して徳川家慶が12代将軍となり、老中である水野忠邦の天保の改革の下、目付や南町奉行として市中の取締りを行う。渋川敬直、後藤三右衛門（13代目後藤庄三郎）と共に水野の三羽烏と呼ばれる。天保9年（1838年）、江戸湾測量を巡って江川英龍と対立する。この時の遺恨に生来の保守的な思考も加わって蘭学者を嫌悪するようになり、翌年の蛮社の獄で渡辺崋山や高野長英ら蘭学者を弾圧する遠因となったといわれる。だが、これについては、耀蔵は単なる蘭学嫌いではなく、天保14年（1843年）多紀安良の蘭学書出版差し止めの意見に対して「天文・暦数・医術は蛮夷の書とても、専ら御採用相成」と主張して反対するなど、その実用性はある程度認めていたこと、また江戸湾巡視の際に耀蔵と江川の間に対立があったのは確かだが、もともと耀蔵と江川は以前から昵懇の間柄であり、両者の親交は江戸湾巡視中や蛮社の獄の後も、耀蔵が失脚する弘化元年（1844年）まで続いていること、耀蔵は江戸湾巡視や蛮社の獄の1年も前から花井虎一を使って崋山の内偵を進めていたことを指摘し、蛮社の獄は『戊戌夢物語』の著者の探索にことよせて「蘭学にて大施主」と噂されていた崋山を町人たちともに「無人島渡海相企候一件」として断罪し、鎖国の排外的閉鎖性の緩みに対する一罰百戒を企図して起こされたとする説がある。天保12年（1841年）、南町奉行矢部定謙を讒言により失脚させ、その後任として南町奉行となる。矢部家は改易、定謙は伊勢桑名藩に幽閉となり、ほどなく絶食して憤死する。天保の改革における耀蔵の市中取締りは非常に厳しく、おとり捜査を常套手段とするなど権謀術数に長けていたため、当時の人々からは“蝮（マムシ）の耀蔵”、あるいはその名をもじって“妖怪”（官位と通称の甲斐守耀蔵を「耀蔵・甲斐守」と反転させた上省略した）とあだ名され、忌み嫌われた。また、この時期に北町奉行だった遠山景元（金四郎）が改革に批判的な態度をとって規制の緩和を図ると、耀蔵は水野と協力し、遠山を北町奉行から地位は高いが閑職の大目付に転任させた（遠山は鳥居失脚後に南町奉行として復帰した）。天保14年（1843年）に勘定奉行も兼任、印旛沼開拓に取り組んだ。アヘン戦争後、列強の侵略の危機感から、江川や高島秋帆らは洋式の軍備の採用を幕府に上申し、採用されるが、終始反対の立場にあった耀蔵は快く思わず、手下の本庄茂平次ら密偵を使い、姻戚関係にあった長崎奉行伊沢政義（伊沢の長男政達は耀蔵の娘と結婚）と協力して、赴任前の伊沢と事前に相談したり自分の与力を伊沢に付き従えさせるなどして、高島に密貿易や謀反の罪を着せた。長崎で逮捕され、小伝馬町の牢獄に押し込められた高島に、耀蔵が自ら取り調べにあたるなどして進歩派を恐れさせたとされる。だが、これについても長崎会所の長年にわたる杜撰な運営の責任者として高島は処罰されたのであり、高島の逮捕・長崎会所の粛清は会所経理の乱脈が銅座の精銅生産を阻害することを恐れた水野によって行われたものとする説がある。改革末期に水野が上知令の発布を計画し、これが諸大名・旗本の猛反発を買った際に耀蔵は反対派に寝返り、老中土井利位に機密資料を残らず横流しした。やがて改革は頓挫し、水野は老中辞任に追い込まれてしまうが、耀蔵は従来の地位を保った。ところが半年後の弘化元年（1844年）5月、江戸城本丸が火災により焼失した。老中首座・土井利位はその再建費用としての諸大名からの献金を充分には集められなかったことから将軍家慶の不興を買い、外交問題の紛糾を理由に水野が再び老中として将軍家慶から幕政を委ねられると状況は一変する。土井は前述の不手際の責任と同時に水野の報復を恐れて老中を自ら辞任し、耀蔵は孤立する。水野は自分を裏切り、改革を挫折させた耀蔵を許さず、元仲間の渋川、後藤の裏切りもあって、同年9月に耀蔵は職務怠慢、不正を理由に解任される。翌弘化2年（1845年）2月22日に鳥居は有罪とされ、全財産没収の上で肥後人吉藩主相良長福に預けられると決定したが、4月26日に出羽岩崎藩主佐竹義純に預け替えになった。結局10月3日に讃岐丸亀藩主京極高朗に預けられる。水野自身も2月に再び老中を罷免され、家督を実子の忠精に相続させた後に蟄居隠居。その後水野家は出羽国山形藩に転封されている。鳥居が讃岐丸亀藩預かりとなった同日、渋川も水野と連座して豊後臼杵藩主稲葉観通に預けられ、後藤は斬首、本荘は播磨三日月藩主森長国に預けられた。また、伊沢も長崎奉行を罷免され、西丸留守居に左遷された。これ以降、耀蔵は明治維新の際に恩赦を受けるまでの間、20年以上お預けの身として軟禁状態に置かれた。