1981年10月29日西武ライオンズの監督に就任。5年契約、契約金6000万円、年俸3600万円と異例の厚遇であった。広岡の西武入りは根本だけの仕掛けではなく、広岡の反巨人意識と堤義明オーナーの巨人に追いつけ追い越せの経営哲学が一致した結果であった。監督就任にあたっては5年に及ぶ長期契約を締結したが、自身にとっても非常に厳しい契約書を作成してもらう。その内容は「私の都合により、退団する時は、年俸はそこでカット、受領済みの契約金も返還する」「休養中は給料は支払わない」「舌禍に対しては厳罰を処する」など、非常に厳しいものだった。記者会見の席でこれについて聞かれた際、広岡は「納得したから契約した」と語っていた。契約する際に坂井保之球団代表に「優勝したら、裏方を含めて年俸を上げてほしい」と要望すると「当然だよ。常識ですよ」という口約束があった。しかし優勝しても、みんななかなか上がらず、坂井に「上げるのが当然って言ったじゃないか」というと「そんなこと契約書に書いてない。君のミスだよ」と言われた。作戦参謀に森、打撃コーチに佐藤孝夫と78年ヤクルト日本一時のコーチを招いた。広岡はライオンズでもスワローズの時と同様、厳しい生活管理とディフェンス重視の野球を行う。前任監督の根本は放任主義で有名で、細かなサインプレーもなければ、ミーティングも皆無で、その結果、西武ナインは「十二球団一の怠け者集団」といわれていた。ライオンズは伝統的に大まかな野球をするチームで、根本もその伝統を継承していたため、そこへまるで逆の「広岡式海軍野球」を持ち込んでも、空中分解してしまうのがオチという見方も多かった。監督就任早々の秋季キャンプで広岡は西武ナインに猛烈なシゴキを加え、西武ナインは「まるでナチス・ドイツみたいだよ。ついていけない」とボヤいた。広岡が「一年で優勝してみせる」と言い切ると、報知新聞は"優勝したらそれは魔術といえる"と揶揄した。ところが就任1年目に前期優勝を遂げると、プレーオフでは後期優勝を果たした日本ハムファイターズを下して球団19年ぶりのパ・リーグ優勝に導く。同年の日本シリーズでも中日ドラゴンズを4勝2敗で破り球団24年ぶりの日本一、西武第1次黄金時代の幕開けを導いた。日本ハムの監督だった大沢啓二は「近鉄とロッテさえ注意すりゃあパ・リーグの優勝は間違いねえ、なんて思ってたんだ。ところが蓋を開けてびっくりよ。それまで弱小球団だった西武がいきなり勝ちまくってそのまま前期優勝しちまった。広岡が監督就任1年目で優勝なんて、なかなか出来るもんじゃねえ。ほんと、あれには驚いたもんよ」と述べている。翌1983年も、2位の阪急に17ゲーム差を付けるという独走状態で優勝を遂げる。日本シリーズの相手は古巣の巨人で、広岡は巨人を倒して日本一になることによって、自分の野球の正しさを証明しようとこれまでやってきたため待ちに待った舞台となる。藤田元司監督とはかつてのチームメイトということもあって、その対決は「球界の盟主の座を賭けた戦い」として日本中の注目を集めた。このシリーズは第7戦までもつれにもつれる歴史的な激闘となったが、4勝3敗で勝利、2年連続日本一に導く。球界に「西武時代到来」と騒がれた。数日後、森を伴って、軟化していたとはいえまだ対立していた川上を訪ね優勝報告を伝えると、川上から「負けりゃよかったのに。藤田に勝たせてやればよかったのに」と言われたという。これには広岡も激怒し、再び川上とは猛烈な対立状態となった（川上の発言は野球協約が禁止する敗退行為に抵触する恐れがある）。シーズンオフになると、日本ハムからトレードで江夏豊が入団。このトレードは西武側からの申し入れと「広岡の下でやった方が江夏のためになる」という大沢の意向によるものである。江夏獲得のため中継ぎ投手の木村広・柴田保光を放出し、さらに小林誠二も古巣・広島へトレードとなり、一気に中継ぎ投手が3名も退団した。このトレードは広岡の意向に反しており、次第に広岡は根本らフロントに対して反感を抱くようになる。また江夏が一匹狼的な性格であり、広岡は選手管理で有名であることから、マスコミでは両者の衝突を予想していた。1984年は、V2を支えた田淵幸一・山崎裕之・大田卓司らが不調であり、好調の阪急におされて、早々とペナントレースから脱落してしまう。5月20日から方針を転換、若手選手を多数起用し新旧交代を見据える采配を行った。一方ではベテランに見切りをつけ、田淵・山崎は現役引退を決意する事になり、江夏は8月以降二軍落ちするとそのまま出番が与えられずに西武を自由契約となった。江夏は広岡について「俺の生活権を奪った男」と語っている。元々、若いピッチャーの模範になってもらいたい、と江夏を西武に引っ張ったのは広岡であり、江夏には食事メニューは自由、ミーティングも出席は強要しないといった実績を十二分に尊重した処遇を行っていた。ところが江夏があまりにチームメイトに馴染めない、結果も出せないこともあって対応に苦慮した。孤高の革命児は、広岡の持ち込んだ「組織野球」の幕開けと共に球界を去ることになる。江夏は西武退団後の1985年頃に「最近広岡さんの話をすると虫唾が走る。あの人は将の器じゃない。他人に責任を擦り付けて自分は責任を取らない。森さん、佐藤さんと広岡さんを支えた人は球団を去り六さんもよく二軍で残ったもんだ。ブチ（田淵）みたいに人の悪口を言わないのが広岡さんの悪口を言った。納得行かない監督はちび1（吉田義男）と今度の監督（広岡）」と語っている。伊東勤が正捕手になり、この年は若手に切り替え「育てながら勝つ」という命題に挑み、3位Aクラスに入ったことで会心のシーズンだったと話している。バッテリーコーチの森は退団し、後任は黒田正宏が兼任コーチになった。田淵が1984年限りで引退したことから、広岡は外国人選手の長距離砲を渇望。カリフォルニア・エンゼルスに在籍していたドン・ベイラーを獲得するようフロントに進言したが、球団は打者ではなく台湾球界のエースだった郭泰源を獲得した。当時の外国人選手の登録枠は2人だったが、ジェリー・ホワイトの解雇で空いた枠を野手ではなく投手に振り分けてしまったことで、一軍登録は「野手1人・投手1人」となる（スティーブ・オンティベロスと郭泰源）。これで広岡はますますフロントに対して反感を抱く。1985年は秋山幸二・辻発彦・工藤公康・渡辺久信などの若手選手が台頭し、寄せ集め集団から生え抜きの選手を中心としたチームへなり、独走状態でリーグ優勝を果たした。しかし広岡はシーズン終盤に持病の痛風が悪化してチームから離れ病気療養し、優勝決定時には現場に不在だった。同年の日本シリーズでは、現役時代のライバル・吉田義男率いる阪神に2勝4敗で敗れて日本一を逃した。広岡はシーズン終了後に監督の権限を強化するようにフロントに要望したが聞き入れられず、夕刊紙に対してフロント批判を再三にわたって繰り返したことを根本が問題視すると、11月8日広岡は辞任を申し出た。根本に「辞めてあげましょうか」というと根本は「おお、辞めてくれるか」と嬉しそうに言ったという。5年契約を1年残しての辞任であり、電撃的な辞任といえる。広岡自身は「相当いい仕事をしているのにクビになった」と話している。記者会見上の席上「痛風が出てしまい、終盤の大事なゲームで指揮がとれなかった。球団にはわがままを聞いてもらった」と会社が書いたシナリオ通りに、健康上の問題と説明した。「4年で3度のリーグ優勝、2度の日本一と出来過ぎともいえる成績を残した自分を、どうして追い出しにかかったか、今でも分からない」と話している。伊東は「11月8日、温泉治療のため群馬県の上牧温泉病院に向かっている途中広岡さん辞任のニュースが入りサービスエリアでビールを買って小宴会みたいになった。私もあの厳しさから解放されると思うとホッとした。」と当時を振り返っている。その後、広岡と対立し前年に退団していた元バッテリーコーチの森が監督として復帰し、後に黄金時代と呼ばれる。