北海道旭川市出身。北海道旭川商業高等学校定時制課程でアマチュアレスリングを始め、日本大学に進学。1964年、大学4年の時に全日本選手権で優勝したことで八田一朗（当時の日本レスリング協会会長）の指名で東京オリンピック代表に選出される。代表選出後は当時世界最強と言われ、日本選手が勝てなかった強敵のアリ・アリエフ（ソ連）打倒のために、当時のフライ級第一人者だった今泉雄策と徹底的にスパーリングを行ったという。本番のオリンピックではアリエフ（ソ連）と5回戦で戦い、素早い動きでアリエフを封じ、アリエフが対戦相手を引き寄せる際に踵に体重が乗る癖を見抜いて終了間際にアリエフのバックを取ってポイントを奪い、1-0で勝利。決勝戦ではチャン・チャンスン（韓国）を下してこの種目で初めての金メダルを獲得。タックル・またさき・横くずしなどを得意とした。日大の卒業式に向かう途中、金メダルを電車の網棚に置き忘れるという失態を演じた。幸い、メダルは4日後に匿名の人物より返還された。卒業後は明治乳業に入社し、後に本社取締役及び関連会社である明治乳業販売社長を務めている。
ごいたは2008年３月に第28類「おもちゃ」、第41類「技芸・スポーツ又は知識の教授、セミナーの企画・運営又は開催、図書及び記録の供覧、おもちゃの貸与」で商標原簿に登録されている。2016年には「能登半島宇出津地域に伝わる娯楽ごいたを広く普及継承していくこと。及び全国各地の支部活動、並びに会員相互の競技力向上への支援や、ごいた関連グッズの管理及び適正なる認可を行い、並びにごいたルールの管理を行う。また、ごいた駒製作技術の保存継承支援を行っていくこと」などを目的として日本ごいた協会が設立され、その一環として商標の管理をしている。そのため将棋や囲碁などの伝統ゲームとは違い、ごいたの名を冠したグッズやゲームを販売するためには日本ごいた協会からの認可を受ける必要があり、認可された商品には協会の認定マークが付く。
ごいたは、将棋の駒に似たコマと盤を用いて行われる。盤は適当な板でよく、普通は将棋盤や碁盤が使用される。コマは将棋の駒と同じ形の物である。但し将棋のものとは違い、竹製で裏は全て無地であり、どの駒も同じ大きさ・形であるため、麻雀牌と同じく裏から見ると駒の区別が全くつかない。また、「桂馬」は「馬」、「歩兵」は「し」と書かれている。「歩兵」が「し」になった経緯として、「歩」を彫る労力を省くために裏面の「と」の方を彫っていたのがやがて「し」に変化したとの説がある。構成は将棋とほとんど同じであるが、「し」のコマは10枚であり、全部で32枚である。コマは手作りの物が多い。かつては、海が荒れて漁に出ることができないときに一週間くらいかけて作られていた。コマをカードなどで代用することも可能である。また、ラブレター(16枚1セット)のカード2セットで代用することも可能である。
小学校3年生の時にサッカーを始め、5年生の時にクラブチームの三菱養和SCへ加入。中学は地元の与野西中学校へ進学したが中学ではサッカー部に所属せず、引き続き三菱養和でサッカーを学んだ。高校進学の際には「全国高校サッカー選手権でプレーをしたい」という希望から東京都の帝京高等学校へ進学。1年次からレギュラーの座を掴むと同期の平岡和徳と共に中盤を形成し、1983年の高校選手権でベスト4進出。3年次の全国高校サッカー選手権では膝の故障もあって万全のコンディションではなかった が、同校の3度目の全国高校選手権制覇に貢献した。高校卒業後の1984年4月に三菱重工業へ入社し、日本サッカーリーグ1部の三菱重工業サッカー部（現浦和レッドダイヤモンズ）に入部。加入初年度から出場機会を掴むと同年10月14日のJSL第13節、本田技研戦で初得点を決めると、その後も帝京高校の先輩である名取篤らと共に三菱の中盤を支え、2部リーグへ降格となった1989-90シーズンには25アシストを記録しJSL2部のアシスト王に輝いた。1992年にJリーグ創設に伴い浦和レッドダイヤモンズが誕生すると名取と共にチーム最古参の選手としてチームを牽引。主に攻撃的MFを務め正確なプレースキックには日本リーグ時代から定評があった。が、その一方で20代後半に差し掛かった広瀬のプレースタイルを「プレーが遅い」「厳しいプレッシャーの中では通用しない」と評する関係者もいた。しかし、1995年にホルガー・オジェックが監督に就任すると守備的MFにコンバート。新人の土橋正樹とのコンビでレッズの中盤を構築すると、冷静な読みと正確無比なロングパス、ウーベ・バインへのリンクマンとしてのショートパス、強烈なドルシュート武器にサントリーシリーズ3位に貢献しオジェック体制で欠かすことの出来ない存在となっていった。オジェックは1995年の開幕前のインタビューで、「広瀬のような経験のある視野の広い選手と出合えて私は幸せだ。彼ほどングパスが正確な選手はめったにいない。」という主旨の発言をしている。翌1996年はギド・ブッフバルトを負傷で欠いたこともありリベロへコンバート。ブッフバルトの復帰後もこのポジションを務め、最後尾からチームを統率した。2000年に引退するまでいぶし銀のプレーで、前身の三菱時代を含め17シーズンにわたって同クラブの中盤を支え続けた。現役引退後は指導者の道へ進み、浦和レッズジュニアユースのコーチに転身。浦和レッズユースの監督を経てトップチームのコーチを務めた。