2011年6月、庄山悦彦、滝久雄、橋本元一、西森秀稔、小島定吉らで構成される東京工業大学学長選考会議により、次期学長に選任された。2011年10月より学長に就任する運びとなったが、同年7月に学長就任を突如辞退したため、学長選考会議が再度招集される事態となった。文部科学省が「次期学長の辞退は極めて異例」とコメントするなど、就任辞退の報は驚きをもって迎えられた。2011年7月29日、東京工業大学の発表により、大倉が余った研究費を返還せず、取引業者にプールする手口で不正使用していた疑いがあることが明らかとなった。東京工業大学では、この件に関する情報を入手したため、予備調査委員会を設置した。その後、東京工業大学は調査委員会を設置し、この問題についての本格的な調査を開始した。この事態に対して、大倉は「預け金の問題については調査中であり回答を差し控えたい」と述べている。
東京工業大学大学院の博士課程を修了すると、アメリカ合衆国に渡った。ニュージャージー州のプリンストン大学にて、化学科の博士研究員として採用された。一年半ほどプリンストン大学に勤務したのち、日本に帰国した。母校である東京工業大学に採用され、工学部の助手として着任した。その後、東京工業大学の工学部にて助教授に昇任し、のちに教授に就任した。1990年、東京工業大学の工学部の教授から転じ、生命理工学部の教授となった。10年後の2000年に、東京工業大学の大学院にて、生命理工学研究科の教授に就任した。2002年には、東京工業大学の大学院にて、生命理工学研究科の研究科長に就任した。また、同年より、東京工業大学の生命理工学部にて学部長を兼任した。2005年には、東京工業大学のフロンティア創造共同研究センターにてセンター長を兼務した。東京工業大学では、教学分野だけでなく、管理・運営分野でも尽力した。2000年には、東京工業大学の評議員を兼任することになった。また、2004年には、東京工業大学の経営協議会にて、委員を兼任することになった。また、2007年には、東京工業大学の副学長に就任した。さらに、東京工業大学の設置者である「国立大学法人東京工業大学」では、理事に就任している。
父は萬右衛門といい、上野国邑楽郡富永村上五箇村（現在の群馬県邑楽郡千代田町上五箇）の出身で日本橋横山町の鼈甲商長門屋の通い番頭であったが、鵬斎が7歳のころにこの長門屋を継いだ。母の秀は、鵬斎を生んで僅か9ヵ月後に歿した。鵬斎は6歳にして三井親和より書の手ほどきを受け、町内の飯塚肥山について素読を習った。14歳の時、井上金峨に入門。才能は弟子の中でも群を抜き、金峨を驚嘆させている。この頃の同門 山本北山とは終生の友となる。23歳で私塾を開き経学や書などを教え、 躋寿館においても教鞭を執った。赤坂日枝神社、駿河台、本所横川出村などに居を構え、享和元年（1801年）50歳のとき下谷金杉に移り住んだ。妻佐慧との間に数人の子を生んだが皆早世し、亀田綾瀬のみ生存し、のちに儒学者・書家となる。亀田鴬谷（かめだおうこく）は孫にあたる。鵬斎は豪放磊落な性質で、その学問は甚だ見識が高く、その私塾（乾々堂→育英堂→楽群堂）には多くの旗本や御家人の子弟などが入門した。彼の学問は折衷学派に属し、すべての規範は己の中にあり、己を唯一の基準として善悪を判断せよとするものだった。従って、社会的な権威をすべて否定的に捉えていた。松平定信が老中となり、寛政の改革が始まると幕府正学となった朱子学以外の学問を排斥する「寛政異学の禁」が発布される。山本北山、冢田大峯、豊島豊洲、市川鶴鳴とともに「異学の五鬼」とされてしまい、千人以上いたといわれる門下生のほとんどを失った。その後、酒に溺れ貧困に窮するも庶民から「金杉の酔先生」と親しまれた。塾を閉じ50歳頃より各地を旅し、多くの文人や粋人らと交流する。享和2年（1802年）に谷文晁、酒井抱一らとともに常陸国（現 茨城県龍ケ崎市）を旅する。この後、この3人は「下谷の三幅対」と呼ばれ、生涯の友となった。文化5年、妻佐慧歿す。その悲しみを紛らわすためか、翌年日光を訪れそのまま信州から越後、さらに佐渡を旅した。この間、出雲崎にて良寛和尚と運命的な出会いがあった。3年にわたる旅費の多くは越後商人がスポンサーとして賄った。60歳で江戸に戻るとその書は大いに人気を博し、人々は競って揮毫を求めた。一日の潤筆料が5両を超えたという。この頃、酒井抱一が近所に転居して、鵬斎の生活の手助けをしはじめる。鵬斎の書は現代欧米収集家から「フライング・ダンス」と形容されるが、空中に飛翔し飛び回るような独特な書法で知られる。「鵬斎は越後がえりで字がくねり」という川柳が残されているが、良寛より懐素に大きく影響を受けた。鵬斎は心根の優しい人柄でも知られ、浅間山大噴火（天明3年）による難民を救済するため、すべての蔵書を売り払いそれに充てたという。また赤穂浪士の忠義に感じ、私財を投じて高輪の泉岳寺に記念碑を建てている。定宿としていた浦和の宿屋の窮状を救うため、百両を気前よく提供したという逸話も残っている。晩年、中風を病み半身不随となるが書と詩作を続けた。享年75。今戸称福寺に葬られる。現在鵬斎が書いたとされる石碑が全国に70基以上確認できる。