大正5年（1916年）、大正天皇に供奉し福岡県で行われた陸軍特別大演習を参観した帰途に胃病から倒れ、胆嚢炎を併発。療養中の12月10日に内大臣在任のまま薨去。享年75歳。病床についてから死ぬ間際まで永井建子作曲の『雪の進軍』を聞いていたと伝えられている。本人は大変この曲を気に入っていたという。臨終の枕元には山縣有朋、川村景明、寺内正毅、黒木為楨などが一堂に顔を揃え、まるで元帥府が大山家に越してきたようだったという。大山の死は夏目漱石の死の翌日のことだった。新聞の多くは文豪の死を悼んで多くの紙面を彼に割いたため、明くる日の大山の訃報は他の元老の訃報とは比較にならないほど地味なものだったが、それが大山と他の元老たちの違いを改めて印象づけた。12月17日の国葬では、参列する駐日ロシア大使とは別にロシア大使館付武官のヤホントフ少将が直に大山家を訪れ、「全ロシア陸軍を代表して」弔詞を述べ、ひときわ目立つ花輪を自ら霊前に供えた。かつての敵国の軍人からのこのような丁重な弔意を受けたのは、この大山と後の東郷平八郎の二人だけだった。那須に葬られた。墓所は栃木県那須塩原市。遺品は陸上自衛隊宇都宮駐屯地に多数収蔵され、資料館に展示されている。
大山は陸軍を代表する存在であり、最重要の重臣である元老のメンバーとしても活動した。ただし、大山は陸軍内の意向に従う傾向があり、黒田清隆・西郷従道没後は会議内のバランスをとるためしばらく元老会議のメンバーから外されている。大正4年（1915年）には内大臣となり、宮中入りした。
日清戦争直前には右目を失明していたという記録が残っているが、日清戦争では陸軍大将として第2軍司令官となった。明治32年（1899年）には参謀総長に就任し、また元帥に列せられた。日露戦争では元帥陸軍大将として満州軍総司令官を務め、ともに日本の勝利に大きく貢献した。同郷の東郷平八郎と並んで「陸の大山、海の東郷」と言われた。
西南戦争をはじめ、相次ぐ士族反乱を鎮圧した。西南戦争では政府軍の指揮官（攻城砲隊司令官）として、城山に立て籠もった親戚筋の西郷隆盛を相手に戦ったが、大山はこのことを生涯気にして、二度と鹿児島に帰る事はなかった。ただし西郷家とは生涯にわたって親しく、特に西郷従道とは親戚以上の盟友関係にあった。明治13年（1880年）には陸軍卿となり、第1次伊藤内閣において最初の陸軍大臣となった。
維新後の明治2年（1869年）、渡欧して普仏戦争などを視察。明治3年（1870年）から6年（1873年）の間はジュネーヴに留学した。留学時、ロシアの革命運動家レフ・メーチニコフと知り合う。メーチニコフは後に東京外国語学校に教師として赴任したが、これは大山の影響によるといわれる。
戊辰戦争では新式銃隊を率いて、鳥羽・伏見の戦いや会津戦争などの各地を転戦。また、12ドイム臼砲や四斤山砲の改良も行い、これら大山の設計した砲は「弥助砲」と称された。会津戦争では薩摩藩二番砲兵隊長として従軍していたが、鶴ヶ城攻撃初日、大手門前の北出丸からの篭城側の射撃で攻略に手間どる土佐藩部隊の援護に出動するも、弾丸が右股を内側から貫き負傷し翌日後送されている。そのため実際大山が鶴ヶ城で戦ったのは初日のみで砲撃を指揮した訳でもなく、よく言われる「会津若松城に向けて、大砲を雨霰のように撃ちこんで勝利に貢献した」というのも事実ではない。なお、このとき篭城側は主だった兵が殆ど出撃中で城内には老幼兵と負傷兵しかおらず、北出丸で戦っていたのは山本八重と僅かな兵たちだった。そのため狙撃者は八重であるとも言われている。この時の会津若松城には、のちに後妻となる山川捨松とその家族が籠城していた。
薩摩国鹿児島城下加治屋町柿本寺通（下加治屋町方限）に薩摩藩士・大山綱昌（彦八）の次男として生まれた。家紋は佐々木源氏大山氏として典型的な「丸に隅立て四つ目」である。同藩の有馬新七等に影響されて過激派に属したが、文久2年（1862年）の寺田屋事件では公武合体派によって鎮圧され、大山は帰国謹慎処分となる。薩英戦争に際して謹慎を解かれ、砲台に配属された。ここで西欧列強の軍事力に衝撃を受け、幕臣・江川英龍の塾にて、黒田清隆らとともに砲術を学ぶ。
一方、米勢力に接近し反日、排日の色を濃くする蒋介石の国民党政府に対して不信感を抱くようになった。加えてこの時期、中国共産党が華南地域に勢力を拡大していたが、この動きに歯止めをかけることのできない国民党について、松井は批判的な姿勢を強めていた。国民党政府が、リットン調査団の報告書を嬉々として受け入れたことについても不満を募らせた。当時、松井は次のように述べている。英国の勢力を長江一帯に再建せしめ、之を全支に拡延せしめたるもの国民政府であり、米国資本の侵略的勢力を南支中支に誘因しつゝあるもの、亦国民政府とその党与とである。而して、その実質に於て独り満洲のみならず支那全土をも国際管理下に置かんことを意図せる夫のリットン報告書―リットン報告書を基礎とする国際連盟総会勧告案を無条件に受諾するに至りては、支那自らを売り亜細亜を裏切る彼等の罪責亦極れりと申さねばならぬ。「支那を救ふの途」大亜細亜協会機関誌『大亜細亜主義』創刊号、昭和8年5月発行陸軍内部では統制派を中心に「中国一撃論」が盛んに説かれるようになっていた。日本への敵対視を続ける中国側の動向は看過できず、それならば蒋介石政権の政治基盤が脆弱な今の内に、一気に叩いておこうという論である。国民党政府に対する不信を濃くする松井は、徐々に「中国一撃論」へと傾いていった。