パウリの友人でもあった物理学者のオットー・シュテルンはこの効果を恐れ、パウリを自分の実験室に入れたがらなかった。ニールス・ボーアはパウリ効果を利用し、研究所で実験が失敗したときは、いつもパウリが原因だとした。パウリ自身も自分の実験の不得手さは自覚していて、「パウリ効果」についても認めていた。
毎日オリオンズ、同郷の鶴岡一人監督の率いる南海ホークス、大阪タイガース、近鉄パールスから入団を打診され、父からは代表の西亦次郎と監督の三原脩から誘われていた西鉄ライオンズ入団を勧められたが1953年12月3日自身の念願でもあった水原茂監督の読売ジャイアンツに入団。広岡は「私の野球の原点は巨人軍の野球である。わたしがプロの厳しさを、いやというほど思い知らされた入団当時の巨人軍の野球である」と述べている。1年目から守備力を見せつけ、当時の正遊撃手だった平井三郎からレギュラーを奪い、打率.314、15本塁打、67打点をマークして新人王を獲得し、ベストナインにも選ばれた。以後、大阪タイガースの吉田義男と並びセ・リーグを代表する遊撃手と称され、とりわけ守備の堅実さ、華麗さを吉田と競いあった。打撃面では1年目以外は低打率の年が多かったが、通算118本塁打、特に1958年には右膝を故障して2か月欠場したが、復帰後は18本塁打を放つなどパンチ力もあった。早大出のエリートかつ、スラリとした長身で、長嶋茂雄入団までは巨人選手で女性人気ナンバーワンであった。1958年3月創刊された『週刊ベースボール』の表紙を長嶋と二人で飾る。1957年12月には、品川主計球団社長（当時）の仲人で挙式。川上哲治とは現役時代からしばしばぶつかった。川上は"打撃の神様"といわれた大選手だったが一塁守備は下手で、しかも守る姿勢をとらずにバッティングフォームをして、首をひねったりしていた。この行為がやる気のなさに見えた広岡は後輩でありながら、少し悪い送球を捕ることができない川上に「それぐらいの球は捕って下さいよ」と意見する場面が多くなり、川上にすれば「若造が生意気な」という感情を持つことになった。1961年に川上が監督に就任した際、川上から「今までいろいろあったが、水に流してくれ。これからは力になってほしい。よろしく頼むぞ」と頭を下げられ、コーチ兼任となった広岡も頭を下げ返して氷解したと思ったが、実際にはその後も野球に対する考えの相違が互いにあった。1964年8月6日の対国鉄戦で、広岡の打席のとき三塁にいた長嶋茂雄が何度もホームスチールを試み、最終的には失敗したのにもかかわらず、巨人ベンチも特にそれをとがめようとしなかった上、当の広岡も最初の1球目の場面では長嶋が勝手にやったものだと思っていたものの、長嶋が2球目以降もホームスチールを試みたことに対して、広岡はベンチがホームスチールをするよう長嶋に指示したのではないか判断し「私のバッティングがそんなに信用できないのですか!!」とバットを叩きつけてベンチに激怒。コーチらの制止を振り切って試合途中で球場を後にした。この行為が監督批判と判断されたこともあり、同年のシーズン終了後、川上が広岡のトレード放出を画策した。しかし広岡が正力松太郎に「トレードされるなら巨人の広岡で終わらせてください」と引退を直訴した結果、正力の指示で残留が決定した（一方で川上はスポーツ新聞などから非難を浴びた）。しかし監督批判の行為の反動もあり、川上は広岡を代打や代走、および守備固めですらほとんど使わなくなり、翌1965年から出番が減った。さらにその翌1966年、広岡が『週刊ベースボール』に巨人への意見記事を寄稿したことで「選手の分がわかっていない」と非難し、大騒動の末、同年のシーズン終了後の10月31日現役を引退した。川上は広岡の資質を高く評価していた反面、前述の通り守備を巡って両者が現役時代から度々口論をしていたぐらい野球観が合わず、長嶋のホームスチールに対するベンチの采配の是非を巡る一件以降は川上との衝突も増加していたが、現役を退いて以降は本格的に互いの確執が始まった。自身が目指す野球は「私を追い出した巨人より正しいことを証明したい」と、現役引退直後の1967年、メジャーリーグを視察をするため4ヵ月単身渡米する。広岡が特に驚いたのが各投手を中4日で先発させる投手ローテーションで、人を生かすには責任を与えることという考えを痛感し、後のヤクルト監督時代に投手ローテーションを導入した。また渡米中にフロリダ州ベロビーチのドジャータウンで行われていた巨人のキャンプも訪れたが、川上は広岡による取材を一切認めず、選手に対して「広岡と口を利くな」と指示を出し、さらに広岡のドジャータウンへの宿泊も許可しなかった。広岡は川上の仕打ちに憤慨し「文字通り殺意を抱くほどの激しい怒りを感じた」と述懐している。しかし森昌彦（祇晶）だけが球団と川上には発覚しないように、内々に広岡が宿泊しているホテルを訪れ食事をともにし、気遣いを見せた。広岡は森に深く感謝し、以後行動を共にするようになる。帰国後はラジオ関東、サンケイスポーツなどで評論家として活動。サンケイスポーツには自ら売り込んだが、採用の条件が自分で原稿を書くならというものであった。なお、当時は自分で原稿を書く野球評論家は皆無の時代で、担当の記者にゴーストライターを頼むのが普通だったが、広岡は自分で原稿を書いた。広岡は著書『積極思想のすすめ』の中で「私の第二の人生のスタートは、華やかなスポットライトを浴びた現役時代とは正反対の厳しく孤独なものであった」と述べている。