1955年、投手として南海ホークスに入団。しかし首脳陣にアピールするために肩を作らないまま投げ込み練習を続けた結果、肘を痛めて投手としての練習を行えなくなった。そこで広瀬は、高校時代から武器にしていた持ち前の俊足と強肩を活かすために野手転向を決意し、同年6月に自ら二軍監督へ申し出て転向した。当初は外野手だったが、後に内野手へ変更された。1956年4月26日の対阪急ブレーブス戦で米田哲也から公式戦初打席初安打を放ち、同年7月29日の対高橋ユニオンズ戦では先発出場して4打数4安打、初盗塁も記録するなど活躍する。7月31日の対大映スターズ戦でも2打席連続で安打を放ち、プロ初打席から7打席連続安打を記録した。当時、パ・リーグ記録部に勤務していた宇佐美徹也は広瀬について、「塁間をスルスルと滑るようなトカゲを思わせる走塁に、当時のネット裏では『大変な選手が出てきたものだ』と異常な興奮に包まれたのを覚えている」と語っている。1957年シーズン途中からは遊撃手に抜擢され、114試合の出場で規定打席に到達していないものの打率.284、25盗塁を記録してレギュラーに定着。1958年も120試合に出場し規定打席に初めて到達、打率.288（リーグ7位）、33盗塁を残した。1959年には打率.310（4位）を記録し、遊撃手としてチームの日本一に貢献するなど、充実したシーズンを送った。同年の巨人との日本シリーズでは全4試合に三番打者として出場、16打数5安打1打点を記録。この頃は盗塁王ではなく、盗塁成功率も6割から7割程度だったが、1957年のレギュラー定着時から「プロ随一の快足」と評価されていた。一方で、遊撃手としては守備範囲が広く無類の強肩だったが悪送球が多く（後述）、1958年には葛城隆雄と並ぶリーグ42個の失策を記録している。1961年に守備位置が同一のルーキー・小池兼司が入団すると、小池の遊撃守備を見た広瀬は「自分より堅実な小池に任せた方がチームのためになるのではないか」と考え、監督の鶴岡一人に自ら提案して8月から中堅手へ転向した。同年は打率.296（10位）を記録しリーグ優勝に貢献。巨人との日本シリーズでは第4戦に堀本律雄から本塁打を放ち、26打数7安打4打点と活躍した。同年は42盗塁で初めて盗塁王に輝き、以降は1965年まで5年連続で盗塁王のタイトルを獲得する。南海のリードオフマンとして杉浦忠、野村克也、皆川睦雄らと黄金時代を築いた。ダイヤモンドを一周13秒9、50メートル5秒5で駆け抜ける俊足と、遊撃手としてプレーしていた頃からの守備範囲の広さで鳴らし、「プロ野球のスピード感を変えた男」とも言われた。また、広瀬の活躍は日本野球機構がシーズン最多盗塁を公式の個人表彰項目として新設する大きな要因となった。1963年にはリーグ5位の打率.299（1963年と1964年のパ・リーグは150試合制）を記録、187安打を放って最多安打記録を打ち立て、1994年にイチローが210安打を放って更新するまでの31年間にわたってパ・リーグ記録となっていた。また同年の676打席は2005年に赤星憲広に抜かれるまで日本記録、2010年に西岡剛に抜かれるまでパ・リーグ記録だった。1963年オフ、当時存在したA級10年選手制度が近かったことから満額のボーナスを目当てに初めての猛練習を自身に課した。後年、「後にも先にもあれほど練習したことは無い」と語るほどの状態で迎えた1964年シーズンは、3月14日の開幕戦から安打を量産し、89試合目まで打率4割を維持（1989年にウォーレン・クロマティに抜かれるまでプロ野球最長記録）した。前半には3番に座り、2本塁打を含む5安打・7打点の大活躍を見せた試合もあるなど、広瀬の好調ぶりはチームの快進撃に欠かせないものとなった。しかし、6月17日の対東映フライヤーズ戦にて尾崎行雄の速球を打ち返した際に左手首を負傷し、以降は腱鞘炎に苦しむようになった。負傷後は中軸どころか先発を外れる試合も増えたが、優勝争いを繰り広げていたチームに迷惑をかけないために治療を続けながら代走で出場し、8月中旬には先発出場に復帰した。それでも腱鞘炎の影響は治まらず、右手一本で打つようなシーンも見られ、後半戦は完全に調子を落とした。最終的に2位の張本勲の打率.328に大きく差を付ける打率.366、72盗塁と自己最高の成績を収め、史上初となる首位打者と盗塁王を同時で獲得、打率は1985年に落合博満（ロッテオリオンズ）に抜かれるまで、右打者の歴代最高打率だった。また、開幕から100安打に到達した試合数は61で、1994年にイチローが60試合で到達するまで日本記録だった。同年は自身3度目のリーグ優勝を経験、阪神との日本シリーズでは、第5戦で3二塁打を放つなど29打数10安打4打点と活躍し、チーム日本一に貢献する。1965年も打率.298（リーグ5位）・39盗塁を記録してチームのリーグ連覇に貢献した。またこの年で実働10年となり、前述のA級10年選手制度が適用されたが、南海球団側は広瀬が前年に腱鞘炎を患ったことと、同年のシーズンも故障で離脱していた時期があったことから、広瀬が期待する満額のボーナス支給を渋った。長年、主力選手としてチームに貢献してきたにも関わらずプライドを傷つけられた広瀬は納得できず、球団と揉めた。結果的に、この件が球団側の掲示する給与面に不満があった鶴岡の監督退任を考えさせる一因にもなった。手首の腱鞘炎は、同時期に西鉄ライオンズで強打者として活躍した中西太も苦しんでおり、また当時は有効な治療法が確立されていないなど、打者が恐れる負傷の一つとも考えられていた。広瀬の打法は手首の強さと速いスイングで、投球を出来るだけ手元に引きつけてからコンパクトに打ち返すものだったが、中西と同様に、手首の強さは故障の原因にもなる「諸刃の剣」だった。1965年までは通算打率も3割に限りなく近い数字を残していたが、1966年・1967年は欠場・長期離脱によって規定打席未到達となり、球団側の懸念が当たってしまうこととなった。それでも1968年に打率.294（リーグ5位）、1969年には打率.284（リーグ13位）を記録したが、これ以降は成績を落としていき、全盛期の成績を残すことは出来なくなった。手首の腱鞘炎によって打撃面では調子を落とすが、走塁では引き続き活躍を見せ、1970年8月2日の対近鉄バファローズ戦（日本生命球場、ダブルヘッダー第2試合）で通算480個目の盗塁を記録し、チームの先輩である木塚忠助が保持していた日本記録を更新した。同年10月14日の対阪急ブレーブス戦ではこの試合でのみ投手として登板し、2回2被安打3四球と荒れたものの無失点で切り抜けた。この試合は阪急側のワンサイドとなった時点で、南海の選手兼任監督だった野村が広瀬に「（敗戦処理として）投げてみいひんか?」と声をかけたものだった。1972年7月1日、対西鉄ライオンズ戦で史上6人目の通算2000本安打を達成。現役晩年は左手首の腱鞘炎に加えて右肩を痛めるなど、故障との戦いだった。1973年からは極端に出場機会が減ったことで引退も考えたが、球団から「もうちょっとやってくれ」と言われ、野村からも「（辞められたら）ピンチヒッターがおらんやないか」として断られ、現役を続行せざるを得なくなった。広瀬は1977年シーズンで引退することを決め、同年7月6日のパ・リーグ後期初戦だった対阪急ブレーブス戦（西宮球場）に出場した際には、福本豊が自身の保持していた通算盗塁記録を更新する597個目の盗塁を記録した瞬間を、守備に就いていた中堅から見つめていた。広瀬はその直後、福本に対し「日本新（記録）や600盗塁などと小さいことを言わず、世界記録を狙ってほしい」というコメントを残し、途中交代して球場を去った。なお、引退後に一年間渡米してメジャーリーグを視察する計画を立てていたが、実現しなかった。