滋賀県出身。1946年、第22回衆議院議員総選挙で滋賀県選挙区から出馬して初当選。1947年の第23回衆議院議員総選挙で滋賀県から日本自由党公認で立候補して当選した。自由党中堅会で活動した。1949年の第24回衆議院議員総選挙で日本社会党公認で立候補して落選。落選後の1954年12月、滋賀県知事選挙に立候補し、元衆議院議員の森幸太郎に破れ、落選した。
2代当主・松平貞副（さだすけ）の子として誕生。幼名は弥太郎。松平清康に仕えたが、天文4年（1535年）尾張国守山城での清康の殺害後、嫡子・家広の妻として水野忠政の娘・於丈の方（於上の方）を迎えるなど、西三河へ勢力を拡大する織田方との接近を図った。天文10年（1541年）には東条城主・吉良義昭を攻めており、この時期には岡崎の松平広忠と同様、織田方への協力を余儀なくされた。墓所は愛知県蒲郡市西浦町北馬場の光忠寺。法名は到運院殿峯誉西岸浄光。
前日計量で1.4kgオーバーで現れ超過分をサウナで一気に落とすという荒行で脱水症状になったが2回目の計量でリミットを200グラム下回る66.4kgでパスし計量失敗での王座はく奪の危機は免れ予定通りに試合が行われた
2013年7月30日、OPBF東洋太平洋ウェルター級王座を返上した上、野口ジムへ移籍
2013年11月19日、韓国・済州島の済州グランドホテルコンベンションホールにて亀田興毅の前座で、ダニエル・ドーソンのスーパー王座認定に伴い郭京錫（韓国）とPABAスーパーウェルター級王座決定戦を行い、4回終了時TKO勝ちを収め王座を獲得し日本人初のPABA王者となった
2013年12月12日、WBAが最新ランキングを発表し、渡部は日本人初のPABA王者となったことを評価され、WBA世界スーパーウェルター級15位にランクインした
2014年6月1日、WBAは最新ランキングを発表し、渡部はWBA世界スーパーウェルター級ランキングから除外された
2015年4月16日、後楽園ホールでOPBF東洋太平洋ウェルター級2位のアーネル・ティナンパイとスーパーウェルター級8回戦を行い、8回3-0（2者月77-74、78-73）の判定勝ちを収めた
2015年7月30日、後楽園ホールでギャティサック・シッサイトーンと67.0kg契約8回戦を行う予定だったが、前日計量で渡部が契約体重を3.2kg超過の70.2kgを計測しリング禍が心配されたものの試合は通常に行われ、初回に渡部がギャティサックから3度ダウンを奪い初回1分22秒KO勝ちを収めた
2015年11月2日、後楽園ホールで行われた最強後楽園ミリオンマッチウェルター級決勝で有川稔男と対戦し、6回16秒TKO負けを喫し日本ウェルター級王座の挑戦権獲得に失敗した
2016年6月29日、JBCは最新ランキングを発表し、試合から遠ざかっている渡部を日本ランキングから除外した
2016年8月8日、OPBFは試合から遠ざかっている渡部をOPBFランキングから除外した
2016年8月28日、野口ジムから角海老宝石ジムに移籍した
2017年1月14日、後楽園ホールで行われた「第557回ダイナミックグローブ」で日本スーパーウェルター級3位の井上岳志とスーパーウェルター級8回戦を行い、8回0-3（74-78が2者、73-79）の判定負けを喫し再起を果たせなかった
2017年5月8日、後楽園ホールで行われた「角海老ボクシング」でOPBF東洋太平洋ミドル級10位のマキシ・ナハクとスーパーウェルター級8回戦を行い、2回2分53秒TKO勝ちを収め再起を果たした
2017年5月29日、JBCは最新ランキングを発表し、渡部を日本スーパーウェルター級10位にランクインした
2017年8月4日、OPBFは最新ランキングを発表し、渡部をOPBF東洋太平洋スーパーウェルター級7位にランクインした
2017年11月4日、後楽園ホールで行われた「ダイナミックグローブ」でデニス・パドゥアとスーパーウェルター級8回戦を行い、初回1分13秒KO勝ちを収めた
2017年12月15日、エカテリンブルクでWBO世界スーパーウェルター級1位でWBOインターナショナルスーパーウェルター級王者のマゴメド・クルバノフと対戦し、WBOインターナショナル王座の獲得を目指したが8回1分15秒TKO負けを喫し世界王座獲得は失敗に終わった

2018年4月7日、後楽園ホールで元OPBFスーパーウェルター級王者のラーチャシー・シットサイトーンとスーパーウェルター級8回戦を行い、3-0（78-74,78-74,80-73）の判定勝ちを収めた
2018年8月24日、後楽園ホールで日本スーパーウェルター級王者の新藤寛之の怪我により設置された日本同級暫定王座をかけて日本同級2位の丸木凌介と対戦し、1回2分51秒TKO勝ちで王座を獲得し、2階級制覇を果たした
2018年12月20日、後楽園ホールで日本スーパーウェルター級正規王者の新藤寛之と日本スーパーウェルター級王座統一戦を行ったが、1-1（96-94、94-96、95-95）の判定で引き分けとなった
2019年3月13日、OPBF東洋太平洋スーパーウェルター級王座に挑戦するため、日本暫定王座を返上した
2019年8月11日、韓国ソウルのグランドヒルトンホテルでOPBF東洋太平洋スーパーウェルター級王者のリー・ジョンキョンとタイトルマッチを戦い、10回TKO勝ちを収め王座を獲得、東洋太平洋王座の2階級制覇を達成した