山口県宇部市出身。ラ・サール高等学校を経て、東京大学医学部卒業。東京大学大学院医学部博士課程終了。医学博士。「性同一性障害者の性別の取扱いの特例に関する法律」の立法に際して発足した国会議員による性同一性障害勉強会に招かれ、性同一性障害に関する医学的概念の講義をおこなった。性犯罪者処遇プログラムの専門家として、テレビなどマスメディアへの出演もする。ネット上では「杏野 丈」という名前でウェブサイトを開設するなどしている。
高砂高校3年秋の1952年に進学を勧める父親を説得し、その父親のつてで大阪タイガースの入団テストを受け、契約金なしの月給5,000円で打撃投手も兼ねたテスト生として入団。この際、タイガースからの合否通知がなかなか届かず、自宅から近い明石市内でキャンプを行っていた大洋松竹ロビンスの入団テストも受けたが、当時は大洋ホエールズと松竹ロビンスの球団合併で選手が増えていたこともあり不合格となった。入団後は打撃投手として藤村富美男・金田正泰などのベテランや後藤次男などに指名されることが多く、打ちやすいコースに投げられないと藤村は黙って隣のケージに移動していったことが一番堪えたという。後年「クビにならないように必死だった。戦争帰りの人たちはとにかく怖かった」と述懐している。制球の良い渡辺省三が先輩にいたことと、打者陣の厳しい要求に応えることで制球に磨きがかかり、1年目の1953年に5勝、1954年には11勝を挙げて先発ローテーションに定着。1958年から3年連続20勝以上を達成。1962年はセ・リーグ記録の5試合連続完封を含むシーズン13完封、2006年に藤川球児が更新するまで球団記録だった47イニング連続無失点を記録。村山実と共に2本柱としてリーグ優勝に貢献し、沢村賞を受賞した。同年の東映フライヤーズとの日本シリーズでは4試合に登板、3試合に先発するが0勝2敗に終わる。また最高殊勲選手投票（当時は単記制）では村山に次ぐ2位だったが、実績を考慮したセ・リーグから「優秀功労賞」として表彰されたこの頃、記者に投手のローテーションを聞かれた監督の藤本定義が「小山、村山、雨や」と答えたのが広く知れ渡った。しかし「両雄並び立たず」などという声も球団内からは聞かれ、1963年の暮れには小山放出の噂が流れた。小山は藤本が既に村山を残し自分は放出する意向であることを知っていたため、忘年会で会った藤本に「来年も頼んまっせ」と言われた時には大変な反発を覚えたという。時を移さずして、長打の打てる打者がほしかった阪神とエース投手がほしかった大毎オリオンズとの思惑が一致し、山内一弘との「世紀のトレード」が成立して大毎に移籍。新聞紙上で報道が過熱する中で阪神本社からは何も連絡がないことにたまりかねて球団社長宅を訪ねたところ、「大毎の永田雅一オーナーから直接電話で『小山を譲ってくれないか』と連日連夜の催促で、大弱りなんだよ」と言われ、小山がその場で「そこまで向こうが言ってくれてるんなら、僕は別に（トレードは）構いませんよ」と答えるとすぐにトレードは成立した。後に「僕の返事を聞いたときの球団社長の、あの満面の笑顔は未だに忘れられないよ」と述懐している。永田は小山の入団を大変喜び「君に馬（競走馬）をプレゼントしよう」と言い馬主になることを持ちかけたが、競馬をやらない小山には意味が通じず「自宅に馬を飼う場所がありません」と断ったため、代わりに外車を小山に贈った。1964年に大毎から球団名を変更した東京オリオンズは、阪神甲子園球場より狭い東京球場を本拠地球場としており小山にとって移籍は不利と思われたが、阪神時代に王貞治を打ち取るために覚えたパームボールを駆使した打たせて取る投球で30勝を挙げ、最多勝利のタイトルを獲得。1965年、1966年も2年連続で20勝を挙げる。1966年10月4日の対西鉄ライオンズ戦では87球で完投し、西鉄の稲尾和久も75球で完投、合計162球の最少投球数試合の記録を作った。東京時代は独身寮に単身赴任しており、真面目で練習熱心な姿勢はチームの手本であった。入団したばかりの村田兆治が徹夜麻雀から朝帰りした時にランニングへ出かける小山と鉢合わせして、村田はとっさに何も言わず自分の部屋に逃げ込んだ。その後、練習中に謝りに来た村田に対して「お前ほどの才能がありながらそれを無駄にするのはさびしくないか」と言い、当時球界を代表するベテラン投手だった小山に諭された村田は感激し、真剣に練習へ取り組むようになった。また、木樽正明が入団3年目にして肩を故障してしまい、不本意な成績で野手転向も検討された時にも、「アイツ（木樽）ほど投手としての才能に恵まれたヤツはいない。もう一度考え直して欲しい」と当時の球団首脳に直訴し、投手としての選手生活を続行させた。いくら大投手とはいえ、ベテランである小山にとって若手が台頭することは自らの死活問題に関わるはずだが、そんなことよりも野球人として才能を愛する人柄がよく現れている。1970年は16勝を挙げてリーグ優勝に貢献。同年の読売ジャイアンツとの日本シリーズでも3試合に登板。最終第5戦では先発し、6回2失点と好投するが、打線の援護がなく日本シリーズ初勝利はならなかった。しかしセ・パ両リーグで日本シリーズにおいて先発登板し、日本プロ野球史上唯一の両リーグ100勝を記録した。1971年7月3日の対東映フライヤーズ戦では自ら決勝点となる勝ち越しの適時二塁打を記録して完投勝利を挙げ、日本プロ野球史上4人目の通算300勝を達成。試合後にはチームメイトから胴上げされた。1972年に現役を引退し、翌1973年に大洋の投手コーチに就任するが、シーズン途中に監督の青田昇の要請で現役復帰し、同年10月24日再び引退。鬼頭洋・安田泰一とのトレードによる移籍であり、登録上は選手兼任だったと見られる。移籍の際には前オーナーだった中村長芳との間に約束があったためロッテから功労金を受け取っている。