京都に生まれる。15歳で仏画師・北村敬重の徒弟となり日本画を学ぶ。一方で20歳の時には洋画家の浅井忠に師事し、洋画を学ぶ。24歳からは雑誌『ホトトギス」』の挿絵なども手掛ける。京都市立陶磁器試験場の技手として絵付けに従事する。28歳で東京に移り、『ホトトギス』『太陽』などに挿絵や漫画を発表し、人気を得る。1913年（大正2年）から1914年（大正3年）にはヨーロッパに遊学し、帰国後は仁科展に油彩画を発表する。その後、日本画家の平福百穂の主催する日本画グループである珊瑚会に参加すると日本画へ移行し、1921年（大正10年）には院展に日本画を出展している。自由な表現できる日本画である「南画」を追求。多くの作品を発表し、戦後にかけて文人への憧れから「詩書画」を多く手掛けるようになる。1916年（大正6年）には山梨県東八代郡境川村（現・山梨県笛吹市境川町小黒坂）出身の俳人・飯田蛇笏（いいだ だこつ）が排誌『雲母』を創刊する。小川は『雲母』の表紙絵を手がけており、1915年（大正5年）3月には『ホトトギス』同人の高浜虚子らが「甲州吟行」を行うと、蛇笏ら山梨県の俳人が一行を案内しており、この甲州吟行には平福や小川も参加している。小川は1928年（昭和3年）にも山梨県を旅行しており、甲府近郊の御岳昇仙峡を訪れ、甲府・長禅寺における句会にも参加し、その際の様子を《甲州紀行画巻》として描いている。
合気道や剣道等の武道にも造詣が深かった。1995年（平成7年）、ボビー・バレンタインが千葉ロッテマリーンズの監督に就任した。当時のロッテゼネラルマネージャー広岡達朗は、バレンタインに、木刀とサンドバッグを練習に使いたいと言った。バレンタインが実際に木刀を振ってみたところ、バットとは違った動きになると判断し、木刀の導入に反対した。これが広岡の怒りを買い、同年2位と躍進しながらも、バレンタインは広岡から解任された。ただし広岡は「自身に監督をクビにする権限はなかった」と話している。後にバレンタインとは和解しており、ロッテが日本一になった時には「私を日本に連れてきてくれた広岡さんに感謝したい」という言葉を残している。独自の自己啓発論で政財界にも強い影響力をもっていた天風会の中村天風を人生の師として仰いでいる。中村天風とは選手時代に悩んだときの相談がきっかけで交友を深め、以後人生全体について教えを乞うようになったと自著『意識革命のすすめ』で記している。また、早大の先輩・荒川博が武道に傾倒していたため、合気道の植芝盛平と道場の師範部長だった藤平光一、植芝から紹介された剣道の羽賀準一に師事し、合気道と居合を習得した。王の一本足打法は藤平光一の心身統一合気道が元ではないかと話している。
同じ広島出身で巨人の遊撃手としても後輩である二岡智宏は高く評価していたが、現在の遊撃手である坂本勇人は評価しておらず、しばしば著書などでその守備やプレースタイルに厳しい批評を行っている

優れた守備力をもった遊撃手として評価されていたが、当時の評価ではNo.1遊撃手は阪神の吉田義男とされており（ベストナイン遊撃手部門で吉田は9回選出されているが、広岡は1回だけだった）、広岡は、その吉田のずば抜けた守備力と比較されたため「甚だ迷惑した」と語っている。吉田は「広岡さんからグラブさばきなど、いろいろなことを学んだ」と述べている。吉田の俊敏・華麗な守備に対抗するために広岡が行きついたのは「基本に忠実、堅実なプレー」だった。早大、巨人を通じてチームメートだった岩本尭は「どんなデコボコのグラウンドでバウンドがどうなろうと、広岡は百発百中捌いていた。広岡へのノックが始まるとほかの選手は練習を止めて見入っていたよ」とその守備力を称えている。広岡が守備の手本としたのはポジションは違うものの、1958年秋に日米野球で来日したセントルイス・カージナルスの二塁手・ドン・ブレイザーだったという。広岡は基本的動作を一からすべて丁寧に練習するブレイザーをみて「最初は馬鹿にして見ていたけれど、それはとんでもない間違いで、自分はあんなふうに野球を丁寧にやっていないことに気付かされた。ブレイザーの真似をしてボールにひたすら丁寧に向き合うようにしたら、自分の守備能力が急激にあがっていった」といい、自らの守備理論の確立にブレイザーが最も大きな貢献をしたと常々語っている。妥協を許さない厳しい姿勢は監督時代につとに有名になったが、現役時代からそれは変わらなかった。巨人のコーチだった牧野茂は「彼には『このくらいでいい』っていうのがない。どこかで固めてしまえば“広岡スタイル”ができただろうに、常に上を求めてしまう。」と語っている。また、牧野と巨人の大先輩である千葉茂は口をそろえて「広岡のエラーには『理由のないエラー』がない。エラーをすると必ずその原因を追求して、次の日にはそれを修正するための練習をしていた」とその探究心を評価している。
中学時には器械体操で秋田県個人総合優勝、東北大会、全国大会にも出場する。県内の秋田県立能代高等学校に入学するも1年で退学。その後上京し、二松学舎大学附属高等学校に入学する。同校のOBには元WBC世界フライ級王者、小林光二がいる。時を同じくしてヨネクラボクシングジムに入門。体操競技をやっていたためか抜群のパワーとスピードを持ち合わせ、ヨネクラジムの次代のチャンピオンと言われていた。本人は、「パンチ力とスピードは浜田剛史さんより上」と豪語していた。また、幼少時から身体能力に優れ、どんなスポーツでも1番を目指していたと本人は語っている。同時期には大橋秀行、川島郭志、松本好二、中島俊一、古城賢一郎、西澤ヨシノリらと第二期ヨネクラジム黄金時代を築いた。1987年7月16日、1RKO勝ちでプロデビュー。1988年2月21日、4RKO勝ちで全日本スーパーライト級新人王獲得。デビューから５連続KO勝ちを記録する。1989年3月7日、当時WBA世界スーパーライト級1位の平仲明信（後のWBA世界スーパーライト級王者）と対戦し、格の違いはあったものの10R判定まで戦った。右手親指の粉砕骨折で全治4ヶ月の大ケガを負う。平仲戦に敗れたが、その後日本ランキング1位となる。1989年10月9日、日本スーパーライト級王者の北島義文に指名挑戦し1RKO勝ちで王座獲得。余談ではあるが、平仲明信の唯一の判定試合が北島義文との日本同級王座防衛戦であった。また、KO勝ちを決めたのは粉砕骨折した右フック1発だった。1990年1月23日、初防衛戦でリック吉村に6RTKO負け。1992年6月24日、桑田弘との日本同級王座決定戦で8RTKO負け。1995年4月20日、桑田弘との同級王座再挑戦も2RTKOで敗れる。生涯戦績24戦18勝（13ＫＯ）5敗1分