安政7年（1860年）に起こった桜田門外の変に強い衝撃を受け、倒幕・尊王攘夷の思想を強める。この事件を契機に、清河塾に憂国の士が集まりだす。その中には幕臣の山岡鉄太郎（鉄舟）・笠井伊蔵・松岡万、薩摩藩の伊牟田尚平・樋渡八兵衛・神田橋直助・益満休之助、同門であった安積五郎らがいる。また池田徳太郎・中村貞太郎・西川練造・村上俊五郎・石坂宗順などとも交わる。同年、盟主として虎尾の会を結成。発起人は山岡鉄太郎ら15名。横浜外国人居留地を焼き討ちし、尊王攘夷の精神を鼓舞し、倒幕の計画を立てたが、この密計が幕府の知るところとなる。しかも文久元年（1861年）には罵詈雑言を浴びせてきた幕府の手先を斬り捨てたため、幕府に追われる立場となった。このとき、笠井・中村・西川らは捕縛され、後に獄死している。
安政2年（1855年）3月から9月にかけて、母親を連れて、清川村を出発。善光寺、名古屋、伊勢、奈良、京都、近江、大坂、宮島、岩国、天橋立、鎌倉、江戸、日光などをめぐる大旅行をする。その記録『西遊草』は、幕末の旅行事情を知るうえでは貴重な資料である。内容は各国の名士との出会いなどを中心に書かれているが、その性格からか辛辣で手厳しい批評が多い。
出羽国田川郡清川村（現・山形県東田川郡庄内町）庄内藩郷士・齋藤豪寿の子。天保14年（1843年）、清川関所役人の畑田安右衛門に師事し勉学に勤しむ。弘化3年（1846年）には後の天誅組総裁・藤本鉄石と会い親交を深めた。弘化4年（1847年）、江戸に出て古学派の東条一堂に師事する。才を認められ東条塾塾頭を命ぜられたが、固辞し安積艮斎に転塾。その傍ら、塾の同輩に誘われ、北辰一刀流の開祖・千葉周作の玄武館で剣を磨き免許皆伝を許され、江戸幕府の学問所である昌平黌に学んだ。その後、清河塾を開設するが、当時江戸市中で学問と剣術を一人で教える塾は清河塾だけであった。
2002年、クリスタル映像専属女優として『たわわな18歳　春菜まい』でAVデビュー。2003年 、『癒され荘 〜管理人さんはHカップ〜』でワープエンタテインメントよりセルデビュー。2004年春 、紋舞らん、加山由衣の3人でNeo minxを結成したが、同年8月に加山由衣の引退に伴い解散した。それ以降は事実上の北都グループ専属女優となった。2004年に東京スポーツ映画大賞 第4回ビートたけしのエンターテインメント賞主演AV女優賞受賞。2005年3月いっぱいで引退した。
会長である渡辺均（わたなべ ひとし、1950年1月5日 - ）は、高校時代に新日本宇都宮ジム（現・宇都宮ボクシングジム）に通い、卒業後は国鉄職員として勤務の傍らプロを目指し、5度目のテストで合格。1969年にプロデビュー。最高位は日本ミドル級3位。引退後の1975年に地元栃木県今市市（現・日光市）で今市ジムを開設したが、練習生が集まらず、東京への転勤を機に国鉄を退職するとともに、1981年7月に東京でジムを開設。これが現在のワタナベジムである。1988年に日本ウェルター級王座を獲得した吉野弘幸を皮切りに東洋太平洋チャンピオンや日本チャンピオンを複数輩出しており、現在も多くの門下生を育てている。世界挑戦は1991年5月19日に平野公夫がWBC世界ストロー級の絶対王者リカルド・ロペスに挑戦したのが最初。以来ジムからの世界王座挑戦は失敗が続いた。しかし、2008年にJBCが女子を解禁すると、江畑佳代子を初の公式戦として世界王座に挑戦させ、その後富樫直美が公認初の女子かつジム初の世界チャンピオンとなった。そして2010年には、内山高志がジムとしては6度目の挑戦で初めて男子世界チャンピオンとなった。これにより男女世界チャンピオンを生んだ日本初のジムとなる（2018年現在、他に大橋、真正、白井・具志堅、青木、花形が該当）。2016年に古川夢乃歌がジム2人目の女子世界チャンピオンとなり、フュチュールに次いで国内2例目、東日本では初の複数女子世界チャンピオンを輩出した。2017年には京口紘人がジム4人目の男子世界チャンピオンとなり、国内のジムでは協栄、帝拳、ヨネクラに次いで角海老宝石と並ぶ4位の数字となった。男女合わせた世界王者の数は8人で国内3位となる。2002年1月からの一時期、当時のジム1階を借りていた中華料理宅配のチャイナクイック（後のCQエンターテイメント）が冠スポンサーとなり、「チャイナクイック渡辺ボクシングジム」という名称としていた（過去にもスポンサーがついた時期に「セラピーワタナベジム」名義になったことがある）。かつてはヨネクラジムと共に極東プロモーションを窓口とするテレビ朝日「エキサイトボクシング」で自主興行を積極的に打っていたが、2000年代前半の同番組打ち切りに伴い日テレ系「ダイナミックグローブ」で打つようになった。一方でスカイ・A sports+とのタイアップで「チャレンジスピリットシリーズ」を主催している。なお、世界タイトルマッチはテレビ東京系「ボクシングスペシャル」で放送されることが多かった（前出のロペスvs平野戦もテレ東が中継した）が2017年大晦日はTBS系「KYOKUGEN」内で放送されて、これ以降は「ガッツファイティング」で放送されている。また2018年からは協栄に代わりガッツファイティングを主催している。亀田三兄弟が所属する亀田ジムは元ワタナベジムの吉井真二が2代目会長（当初はチーフトレーナー）を務め、渡辺会長が推薦人となった。2016年4月1日より、渡辺が東日本ボクシング協会会長に就任（日本プロボクシング協会会長も兼務）。2019年まで1期務めた。