東京都出身。ドイツ連邦共和国ベルリン市在住。東京学芸大学附属高校、慶應義塾大学文学部哲学科卒業。ドイツ・テュービンゲン市、エバーハルト・カール大学哲学部留学。1978年、東洋エンジニアリング株式会社が建設工事を請け負った旧東ドイツ・シュベート市石油コンビナート建設現場に通訳として勤務し、現地にて正社員となる。1982年の帰国後は同社海外営業本部部員として東欧圏等営業を担当。1990年、東西ドイツ統一後、同社ベルリン駐在員事務所長として赴任。1993年、現地法人Toyo Engineering GmbH社長に就任。2001年より現職。主として旧東独地域を中心にプラント・エンジニアリング関連事業を展開している。
2015年（平成27年）8月末、体調不良を訴え受けた検査で胆嚢に癌が見つかった（当時も調子が良くなかったと思われるが、8月2日に大原麗子の七回忌法要に参列 していたことが確認されている）。余命1年の告知を受け、都内の大学病院で5ヶ月間、手術ではなく抗癌剤の投与と放射線治療を受けた。その後も入退院を繰り返しながら、少しずつ仕事をこなしてきた。その間も高額な抗癌剤を試そうとしたり、がん専門病院で特別な放射線治療を受けようとしたが、転移のため叶わなかった。自身が癌に侵されていることは、「あえて自分から話すことではないと思った」という理由 で、2016年5月26日発売の「女性セブン」が報じるまでは公にされなかった。「9係」プロデューサーの松本基弘には2016年の11シーズン終了後に渡瀬自身から癌であることを伝えられた。しかし松本は治療すれば必ず良くなると信じていた という。どんな体調が優れない時でも「俺はやる、とにかく現場に戻るんだ」という意欲を燃やし、2016年に入ってからは血流を良くする気功術を導入した。病魔が渡瀬の体を蝕み、2016年6月から8月に撮影された「おみやさんスペシャル2」では、6月親友の成瀬正孝が陣中見舞いに訪れても調子が悪いながら一緒に食事へ行くなどの気遣いを見せる余裕があったが、7月には隠し切れないほどの体調悪化で撮影が続行できるか一時検討された。しかし撮影途中から妻が京都に駆けつけ献身的に支えたことで撮影を乗り切った。松本基弘によれば『おみやさんスペシャル』の後に『タクシードライバーの推理日誌』新作撮影予定だったが、体調を崩したことを考慮し延期して静養に努めた。遺作となったテレビ朝日系列のスペシャルドラマ『そして誰もいなくなった』（2017年3月25日・26日放送）への出演を藤本一彦プロデューサーが渡瀬にオファーしたのは11月。藤本によれば、最初は別の役を依頼するつもりだったが、準備稿を読んだ渡瀬が犯人の磐村兵庫役をやりたいと話した という。渡瀬の直筆で毎年宛名から文面まで律儀に書かれていた年賀状が、2017年には「賀春　おめでとうと、ありがとうを申し上げます」と健筆で書かれていた。2016年までの年賀状とはちょっと違うことに気づき、文面に込められた渡瀬の思いに井上茂は心がざわめいたという。『そして誰もいなくなった』の撮影は、2016年12月24日から2017年2月12日まで続いた。クランクインで渡瀬は「皆さんご存知だと思いますが、私は癌です。それでもこの役を全うしたい」と挨拶した という。撮影の際には風邪が蔓延しないように全員がマスクを着用、照明のセッティング待ちがないように照明なしのカメラを用意し、出来るだけロケの回数を抑えるために、藤本プロデューサーは監督の和泉聖治へ工夫するよう指示した。最後に磐村が犯行を告白する13分間の独白シーンは、渡瀬の負担にならないよう通常は現場で行うカット割りを和泉は事前に作業した。移動は車椅子、撮影の合間には酸素吸入器の管を鼻から挿入して、命を削って容態が急変する前まで撮影を終わらせた。3月2日の制作会見では、渡瀬は「スケジュールの都合」で欠席だったが、共演者の津川雅彦 によれば共演者は癌に侵された渡瀬を気遣い労わったという。そんな渡瀬は誰よりも早く現場に入るので、つられて共演者も現場に入るのが早くなったという現場の様子を明かした。1月25日には警視庁捜査一課9係の取材で、テレビ朝日で（最後のマスコミ個別対応になった）サンケイスポーツの取材に応じた。その時も鼻には酸素吸入器をつけてはいたが口調や足取りはしっかりしていたという。その際、記者へ「『9係』は僕にとって『やらせてください！』と言いたい作品なんです」と力を込め、同作品への並々ならぬ思い入れと役者魂をぶつけた。だが記者からの「ライフワークにしたいか？」という質問にひと呼吸して「生きていれば…」と声を落としたという。2月19日、『警視庁捜査一課9係 season12』の取材会に力強い足取りで現れ、12作目になる本作の見所を話した。その際、「体調は良くない。現状維持という感じ、食欲はないけど一生懸命食べている」と自身の体調を包み隠さず話し、会見に同席した羽田美智子が涙ながらに感謝を伝えると、渡瀬も背中を叩いて羽田へ感謝を伝えた。しかし、渡瀬が生前公式の場に登場したのは、この日が最後になった。2月中旬に左肺の気胸を発症し入院治療を行うも、3月に入って敗血症を発症。しかし現場に戻る執念は衰えず、一般病棟にいる時から『警視庁捜査一課9係 season12』の台本を持ち込んで台詞を全て覚えていた。死去の前日にはマネージャーと『警視庁捜査一課9係 season12』の打ち合わせをこなし、「今月から撮影だ頑張ろう」と自らを鼓舞していた という。しかし3月14日、細菌が血液を通じて全身を巡り容態が急変。病院にかけつけた妻と長男と長女の家族3人にと向井戸まなかに看取られ、同日23時18分、胆嚢癌による多臓器不全のため東京都内の病院で永眠。72歳だった。