1969年秋のドラフト2位でホークスに入団した門田博光は、自身が若手のころの広瀬との思い出について、「今の時代と違って、年が2つも違えば口がきけなかった時代で、球場では話し相手がいなかった。ただ、その中でも広瀬さんは気さくでよく話しかけてもらっていた」「1つ年上の富田（勝）さんが広瀬さんと仲が良かったので、富田さんから声がかかって、『博光、飲みに行くぞ』と3人で街に出ることが多かった」と語っている。また、門田は、センター（広瀬）とライト（門田）で「先輩－後輩の臨機応変の理解のやりとりがあった」として、「（広瀬の）目がウルウルしておりまだ（前夜の）酒が残っていそうだな、と思えば、『今日はそっちまで追いかけていきましょうか』と言い、『おう、頼むぜ』という言葉が返ってきた」「そんな会話があってけっこう面白かった」と述懐している。広瀬も著書にて「（若いころの門田に）やがて日本を代表するスラッガーになるだろうと思い、『カド、球種やコースが分かって打つのは勝負師やない。プロとプロの勝負に打ち勝ってこそ、初めて一流と言われる打者なんやぞ』と言ったことがある」と述べており、野村流のサインを盗むようなやり方への抵抗の一方で、正義感が強く職人かたぎの門田に共感し将来に期待していたようである。監督時代には「このサムライみたいな男に命令口調は通じない」「監督と選手の間柄ではあっても、こちらが素直な気持ちで向き合うしかなかった」とも語っている。
現役時代は南海の同僚である杉浦忠、野村克也と非常に仲が良かった。三人で行動を共にすることも多く、鶴岡一人からは、黒澤明監督の映画「隠し砦の三悪人」をもじって「南海の三悪人」と呼ばれていた。杉浦とは家が近いこともあり、1959年の日本シリーズで最高殊勲選手に輝き、賞品に自動車をもらった杉浦に連日球場の送り迎えをしてもらっていた。その後、気を遣った広瀬は自動車を衝動買いしたが、買ってから免許をもっていないことに気付き、練習して免許をとったという。野村とはともに下積み暮らしをした間柄で長らく良好な関係だったが、野村が兼任監督になってから悪化する。広瀬は著書の中で「（当時は愛人だった野村沙知代が）球場へ出入りするなどしたことも、私は快く思っていなかった。以心伝心というものか、彼女も私が嫌いだったのだろう。用兵にまで口出したかどうかは知らないが、73年頃から私の出番は確実に減っていった」と記している。加えて、野村が自らの代打に投手の村上雅則を起用したり、ヘッドコーチのドン・ブレイザーから「1本出れば勝てる」という9回二死満塁の打席でカウント3ボール1ストライクになっても（押し出し四球の方が期待できるという判断から）「待て」のサインを送られるなど、「プライドをこなごなに粉砕する」ような扱いを受けたことで、「ほとんど口もきかない間柄」になったという。野村の著書の中に、広瀬に相手投手の球種を教えようとしたが断られ絶句した、というエピソードが出てくる。これに対して広瀬は「何も考えずに打つ（のでそのような情報はむしろ邪魔）」という野村の見当について否定はしていないものの、「そういう（相手投手の投球が何なのか教えてもらうという）方法で打っても意味がない」として、相手バッテリーのサインを盗むような野村流の手段を選ばぬやり方への抵抗があったとの本心を披歴している。2000年代に入ると、当時楽天監督を務めていた野村と、セ・パ交流戦の対広島戦に来場した際に試合前に取材を兼ねて会談。その際のエピソードを中継内で披露するなど、野村との関係も一時期と比較して修復されている。2013年には福岡ソフトバンクホークスの始球式に、野村とともに招かれ、久しぶりに談笑したという。
広瀬は大の飛行機嫌いで知られていた。1969年のオールスターゲームでは、第2戦が甲子園球場で行われたあと（この試合で広瀬は江夏豊から本塁打を打っている）、第3戦が中一日おいて平和台球場で行われたが、同じく飛行機嫌いであった江藤慎一と話し込みながら一緒に寝台特急で移動するところを近藤唯之に目撃されている。現役時代は遠征は全て列車移動をしていたが、監督をしていた3年間は「もし、事故が起きて監督ひとりが生き延びたりしたら二度と人前には出られない」との思いから、必死で苦手な飛行機に乗り続けたという。
貿易商を営む高岩勘次郎、とみの子として、福岡市に生まれる。母とみは、前夫との間に作家檀一雄を生んでおり、檀の異父弟にあたる。実兄にはフリーカメラマンの高岩震、実弟には記録映画作家の高岩仁がおり、ともに元東映社員である。実妹には上智大学理工学部助教授を務めた物理学者の笠耐がいる。福岡県中学修猷館、旧制福岡高等学校を経て、1954年、九州大学経済学部を卒業し、檀の親友である東映東京撮影所所長・坪井与（のち東映専務取締役）に迎えられ東映に入社。1967年、管理部長、1968年、製作部長、1971年、取締役東映京都撮影所長となり、1975年11月には、高岩のアイデアで東映京都撮影所を東映太秦映画村として開村し、一般公開している。その後、1978年11月、常務取締役、1986年11月、専務取締役を経て、1993年6月、岡田茂から引き継ぎ代表取締役社長に就任。2002年6月、岡田裕介の社長就任に伴い、代表取締役会長となる。2006年6月、相談役となり、2012年6月を以て一切の役職から退き、東映を退社した。一方で、1975年、東映京都スタジオ社長、1991年、東映音楽出版社長、1993年、東映化学工業相談役、1994年6月、東映アニメーション取締役も務めており、アニメーション映画の製作も数多く手掛けている。1996年、東映ビデオ社長に就任。傍ら、1996年から日本アカデミー賞協会会長を務める。檀一雄との関係は深く、檀の小説『火宅の人』の映画化（1986年）を企画している。また、檀の娘・檀ふみは、高岩との縁で、高校在学中の1972年に東映映画『昭和残侠伝 破れ傘』で映画デビューしている。恩人・岡田茂からは「お前は企画能力はマイナスや。だけど、人をまとめることは日本一や」と評価された。2012年10月8日、長年に亘って日本映画の発展に大きく貢献した功績により、第46回牧野省三賞を受賞。