日大山形高では、捕手、四番打者として左腕エース柳橋明（日本石油）とバッテリーを組み、1968年夏の甲子園に出場。惜しくも2回戦（初戦）で岩国商に0-1で敗れてしまったが、強打が注目され東映フライヤーズにドラフト6位で指名を受け入団。種茂雅之、加藤俊夫ら捕手陣の揃った東映では一軍に定着しきれなかったが、1974年9月には打力を活かし一塁手として2試合に先発出場を果たす。1976年にヤクルトスワローズに移籍。ここでも大矢明彦という不動の正捕手がいたため出場機会に恵まれなかった。1978年限りで引退。翌1979年からブルペン捕手に転向し、長く裏方としてチームを支えた。その後胃癌が発覚し、2000年からブルペン捕手を休職して闘病生活に入ったが、2001年に亡くなった。2001年にヤクルトが日本シリーズで優勝した際に、池山隆寛が小山田の遺影を持ってセレモニーに臨んだことで知られる。池山は後に著書『池山隆寛のブンブンブン！ 夢、ありがとう プロ野球栄光と挫折の19年』でも小山田について「お世話になった人」として触れている。2007年のドラフトで、息子の小山田貴雄が育成選手としてヤクルトに指名を受け、父と同じチームでプレーすることになった。
本業の楽器製造に加えてオートバイ、スポーツ用品、レクリエーションなど各種事業を創業し、社業の業績向上と多角化に大きな成果を挙げてヤマハ中興の祖ともいわれる。音楽や楽器演奏を身近にするためにヤマハ音楽教室を全国で展開して音楽教育の裾野を広げるほかに、ヤマハポピュラーソングコンテストや世界歌謡祭などを開催して1970年代から80年代のフォークソングとロックミュージックに功績している。強烈な個性とワンマンぶりから「川上天皇」とも揶揄され、川上家は創業オーナーではないにもかかわらず父の川上嘉市から息子の川上浩まで3代続けて社長の座に就き、経営の世襲に批判も聞かれる。
1831年（天保2年）、阿波国（現在の徳島県）脇町（美馬市）の旅籠の長男として生まれる。青年時代までは「土井喜太郎」を名乗っていた。1846年（弘化3年）、皮膚病の治療のため有馬の温泉に滞在中、天野宗歩の門下とされる長崎出身の三段格の棋士（氏名不詳）に見いだされる。この棋士とともに長崎へ行き、数年間修業する。1850年（嘉永3年）、すでに教えることがなくなったとして、某三段より天野宗歩への紹介状を貰い、京都にのぼって天野宗歩の指導を受ける。しかし、この数日後、天野は江戸に帰ることになり、小野が再び天野の指導を受けることはなかった。1860年、再び天野の指導を受けるべく江戸に出たが、すでに天野は死去した後であったため、十一代大橋宗桂の下に身を寄せる。文久元年（1861年）7月15日、日本橋・銀町一丁目の丁字風呂で渋谷孫助と左香落を対局した記録が残されている。宗桂から1860年に三段、翌1861年には四段を許される。慶應2年（1866年）に五段、明治2年（1869年）に六段に昇段。土井五香と改名した後、家名を継いで「尾野五平」と名乗る。同年に八代伊藤宗印らが呼びかけた「百番出版校合会」に参加、5月21日に八代宗印と平香交じりで対局。明治5年（1870年）1月20日には宗印や大矢東吉らと連将棋に参加、6月6日には深川木場の鹿島清次郎宅で宗印と香落とされで対局する。その後、宗印らと袂を分かち「尾野五平会」を組織したという。福沢諭吉、森有礼ら有力者を後援者に持ち、名人位を狙うようになった。明治12年（1879年）、「小野五平」に改名。同年4月13日、宗印が十一世名人を襲位する予定があることを知った小野は両国中村楼で将棋会を実施し話題を集め、宗印は小野に七段への昇段を許した。同年10月13日、本所亀町の藤堂隠宅で宗印と左香落とされで対局。一時指し掛けとなったが、宗印が名人に襲位した後の10月26日に再開、再び指し掛けとなる。同年11月9日の午前10時から再開し、持将棋の提案をはねのけた上で10日の午後12時に252手で小野の勝利に終わる。この勝利により小野は次期名人候補であることを周囲に認めさせたという。明治13年（1880年）、八段に昇段する。明治26年（1893年）、八代伊藤宗印が死去。名人位は5年間空位となった。明治31年（1898年）、十二世名人を襲位。同年5月27日に両国の中村楼で名人披露の宴を張った。家元出身以外の初めての名人であったが、終身名人制は維持された。伊藤門下の関根金次郎は小野の名人襲位に異議を唱えて争い将棋を求めたが、既に高齢であった小野の死後に名人を継げばいいとの勧めにより異議を取り下げている。しかし、小野が長命であったため関根は全盛期のうちに名人を襲位することができず、そのことが関根に実力名人制への転換を決意させたともいわれている。阪田三吉（坂田三吉）が台頭すると、関根と不仲であった小野は、1915年（大正4年）阪田に八段位を認めて、関根の対抗馬にしたという。大正6年（1917年）、関根と和解した小野は築地・新喜楽で右香落で対戦して勝利する。ただし、終盤に関根が勝ち筋を見送っているため、小野に花を持たせたという見解が有力である。大正9年（1920年）、柳沢保恵の発案で上野・常盤華壇で長寿の祝賀会を催した。大正10年（1921年）に死去。91歳（数え年）であった。晩年は関根と和解したものの、妻に先立たれて孤独な老後を送ったという。日本チェス界の草分け的存在でもある。ただし、東公平によると、腕はさほどではなかったという。小野以降、坂口允彦、大山康晴、宮坂幸雄、羽生善治、森内俊之と将棋界はチェスの国内強豪選手を輩出している。