文政8年（1825年）、樺山善助の次男として鹿児島に生まれる。幼名は熊次郎。嘉永2年（1849年）12月26日に大山四郎助の婿養子となる。通称は正圓、角右衛門、格之助。大山氏の本姓は宇多源氏で、養子先の家伝では佐々木盛綱の子孫である康綱の後裔を称するが明確ではない。西郷隆盛、大久保利通らとともに精忠組に所属。島津久光の上洛に随行し、文久2年（1862年）の寺田屋事件では、奈良原喜八郎らとともに過激派藩士の粛清に加わり、事件の中心的役割を果たした。特に寺田屋2階には大山巌・西郷従道・三島通庸らがいたが、皆で説得を行った結果、投降させることに成功した。明治元年（1868年）の戊辰戦争では、奥羽鎮撫総督府の下参謀になった（もう一人の下参謀は仙台藩に処刑された長州藩士、世良修蔵）。大山率いる新政府軍は庄内戦線において、庄内藩の反撃にあい連戦連敗を喫するが、戦後、新政府から賞典禄800石を受けた。長州藩で大楽源太郎が反乱を起こして敗走し、再起のために日田県庁を襲った時には新政府の命を受けて討伐軍の司令官として鹿児島から派遣されながら現地到着後に独断で軍解散を命じて木戸孝允らの怒りを買い、西郷隆盛が詫びる騒ぎとなっている。新政府では廃藩置県後に鹿児島県の大参事、権令（県令）となる。だが、これは旧藩と新府県の関係を絶つために、新しい府県の幹部には他府県の出身者をもって充てるとした廃藩置県の原則に反する特例措置であった。大山は島津久光の意を受けて西郷らを批判した。明治6年（1873年）に征韓論争から発展した政変で西郷らが新政府を辞職して鹿児島へ帰郷すると、私学校設立などを援助し西郷を助けた。その後、大山が県令を務める鹿児島県は新政府に租税を納めず、その一方で私学校党を県官吏に取り立てて、鹿児島県はあたかも独立国家の様相を呈した。明治10年（1877年）に鹿児島で西郷らが挙兵した西南戦争では官金を西郷軍に提供し、その罪を問われて逮捕され東京へ送還される。西郷軍の敗北後、長崎で斬首された。享年53。墓所は鹿児島県鹿児島市の南洲墓地。
少年時代から地元の農場で働いていたが、その巨体をオーヴィル・ブラウンに見込まれて1954年にプロレス入り。オーバーオールを着用し、家畜の蹄鉄を鎖で首にぶら下げた農夫ギミックの超巨漢ベビーフェイスとして売り出され、1956年12月13日にはカンザスシティにてルー・テーズのNWA世界ヘビー級王座に挑戦。1960年代初頭はニューヨークでの体重300kgのハッピー・ハンフリーとの巨漢対決で勝利を収めて注目を浴びた。1962年10月にはロサンゼルスのWWAにて、エイブ・ジェイコブズ（アベ・ヤコブ）と組んでWWAインターナショナルTVタッグ王座を獲得している。1963年3月、日本プロレスの『第5回ワールド大リーグ戦』に初来日。羽田空港から都心のホテルまで小型トラックの荷台で運ばれるなどの演出で話題を呼び、4月17日には沖縄で力道山のインターナショナル・ヘビー級王座に挑戦。若手時代のアントニオ猪木や大木金太郎を相手にした5人掛けの変則試合なども行われた。1960年代後半はカナダのバンクーバー地区を主戦場に、1966年7月にはドン・レオ・ジョナサンと組んでジョン・トロス&トニー・ボーンからNWAカナディアン・タッグ王座を奪取。1968年6月にもジョナサンとのコンビでジ・アサシンズを破り、再び同王座を獲得した。この間、1966年12月には地元のアーカンソーをサーキット・エリアとするミッドサウスのトライステート地区にて、ジャック・ブリスコと組んでNWA USタッグ王座にも戴冠。1968年8月にはマンマウンテン・カノンとの巨漢コンビで日本プロレスに再来日している。1970年代に入るとニューヨークのWWWFに定着。1973年5月30日、トニー・ガレアをパートナーにプロフェッサー・タナカ&ミスター・フジからWWWF世界タッグ王座を奪取した。9月11日にタナカ&フジにタイトルを奪回されるが、以降もベビーフェイスの中堅として、ゴリラ・モンスーン、チーフ・ジェイ・ストロンボー、イワン・プトスキーらと共に、マディソン・スクエア・ガーデンのミッドカードに欠かせない人気者となる。ブルーノ・サンマルチノやペドロ・モラレスともタッグを組み、1977年6月6日にはスーパースター・ビリー・グラハムのWWWFヘビー級王座にも挑戦した。1978年6月、WWWFとの提携ルートで新日本プロレスの『サマー・ファイト・シリーズ』に参戦。10年ぶりの来日を果たしたが、日本プロレス参戦時と比べ体重は大幅に落ちていた。7月15日には根室にて猪木とのシングルマッチが行われ、7月24日の広島県立体育館大会ではピーター・メイビアと組んで坂口征二&ストロング小林の北米タッグ王座に挑戦した。なお、このシリーズには後にWWWFでメイビアのマネージャーを務めるフレッド・ブラッシーも来日しており、本国ではベビーフェイスのカルホーンも仇敵ブラッシーをマネージャー役にしてヒールを演じた。翌1979年6月には新日本のブッキングでアンドレ・ザ・ジャイアントと共に国際プロレスに特別参加している。その後、健康状態が悪化して1980年代初頭に引退。1986年に糖尿病のため左足を失い、1989年12月7日に死去。55歳没。晩年の体重は150kgほどまで減少していた。2017年3月31日、WWWFでの実績を称え、WWE殿堂のレガシー部門に迎えられた。