大山が生前に建設した本邸は大正12年（1923年）の関東大震災により崩壊した。その後大山家は、東京・表参道（穏田一丁目＝当時）に広大な私邸を持っていたが、太平洋戦争（大東亜戦争）末期の昭和20年（1945年）5月の東京大空襲で焼失した。その際アメリカ軍は大山邸などを目標にしていたといわれる。また本邸の他に静岡県沼津市、栃木県那須に別荘を所有しており、現在は大山別邸として県指定文化財となっている。那須では農場も持っており、暇があれば山仕事に従事していたという。
大山は日本国歌となる君が代の成立にも関わっているとされることがある。明治2年（1869年）に設立された薩摩バンド（薩摩藩軍楽隊）の隊員に対しイギリス公使館護衛隊歩兵大隊の軍楽隊長ジョン・ウィリアム・フェントンが国歌あるいは儀礼音楽を設けるべきと進言し、それを受けた薩摩藩軍楽隊隊員の依頼を、当時の薩摩藩歩兵隊長である大山が受け愛唱歌である薩摩琵琶の「蓬莱山」より歌詞が採用された（現在の曲がつけられたのは明治13年（1880年））。ただし君が代を提案したのは静岡藩士の乙骨太郎乙であるという説もあるほか、曾孫大山格は巌が国歌制定に関わったという話は大山家に全く伝わっていないとしている
明治前期には陸軍卿として谷干城・曾我祐準・鳥尾小弥太・三浦梧楼のいわゆる「四将軍派」との内紛（陸軍紛議）に勝利して陸軍の分裂を阻止し、彼等の拠点と化していた月曜会を解散させた。以後明治中期から大正期にかけて陸軍大臣を長期にわたって務めた。元老としても重きをなし、陸軍では山縣有朋と並ぶ大実力者となったが、政治的野心や権力欲は乏しく、元老の中では西郷従道と並んで総理大臣候補に擬せられることを終始避け続けた。大隈重信は大山が薩摩人でありながら、郷土の縁故をもって頼み事をされても乗らず、超越した存在として公平に振る舞い、内大臣の適任者であったと回想している。また山縣有朋も私心がなく公平であったと回想している。
大山は西洋かぶれで非常に西洋文化への憧憬が強く、また造詣も深かった。後藤象二郎、西園寺公望らと共に「ルイ・ヴィトンの日本人顧客となった最初の人」として、ヴィトンの顧客名簿に自筆のサインが残っている。捨松との再婚の時の披露宴招待状は全文がフランス語で書かれた物で人々を仰天させたという。陸軍大臣公邸を出たあとに建てた自邸はドイツの古城をモチーフとした物だった。しかし、見た目の趣味はお世辞にもいいとはいえない代物で、ここを訪ねた捨松の旧友アリス・ベーコンにも酷評されている。巌はこの新居に満足していたが、妻・捨松は「あまりにも洋式生活になれると日本の風俗になじめないのでは」と、自分の経験から子供の将来を心配し、子供部屋は和室にしつらえていた。
従兄弟の西郷隆盛も大柄で肥満体だったが、大山もなかなかのものであった。その体型と顔の印象から「ガマ」（ガマガエル）というニックネームで呼ばれていた。しかもかなりの美食家であった。息子の大山柏の回想によると40cm以上もある鰻の蒲焼がのった鰻丼をペロリと完食し、ビーフステーキとフランスから輸入した赤ワインが好物で、体重は最も重いときで95kgを越えていたという。その結果晩年は糖尿病に悩まされていた。妻の捨松は友人への手紙で「主人は最近ますます太り、私はますますやせ細っています。」と愚痴をこぼしていたという。ただし、『元帥公爵大山巌』（大山巌伝刊行会編、1935年）では肥満になったのは晩年のことで、当初はどちらかというと痩せ気味であったといい、槍術を得意としたという。
石黒忠悳は、大山と旅をしていると、その土地々々の有名な詩を暗誦していて驚かされたと回想している。稀に和歌を読むこともあったが、てにをはの使い方などを注意されることがあっても気に留めなかったという。
サラトガに最も近い商業空港は、市の中心部から車で約20分、サンノゼ国際空港（IATA: SJC）である。同空港には4大航空会社がすべて各社ハブ空港からの便を就航させているほか、サウスウエスト航空、USエアウェイズ、アラスカ航空等も就航している。しかし、同空港はサンフランシスコ・ベイエリアの3空港の中では最も就航便数が少なく、国際線はアラスカ航空によるグアダラハラおよびカボ・サンルーカスへの便、およびボラリスによるグアダラハラへの便のみである。また、サンフランシスコ・ベイエリアの他の2空港、サンフランシスコ国際空港（IATA: SFO）およびオークランド国際空港（IATA: OAK）も、ともに車で1時間以内の距離に立地している。特にサンフランシスコ国際空港はユナイテッド航空のハブ空港の1つで、サンフランシスコ・ベイエリアの第1空港であるのみならず、国内外から多数の直行便が就航している、西海岸有数の大空港である。市の北東部にはサンノゼの環状線である高速道路規格のカリフォルニア州道85号線が北西-南東方向に通っている。州道85号線は州間高速道路I-280（I-80の支線）や国道101号線に接続しており、サンフランシスコをはじめベイエリア内の各地と高速道路網で結ばれている。サラトガの公共交通はサンタクララバレー交通局の運行する路線バスが5系統のみで、ライトレールは通っておらず、主な交通手段は自動車となる。アムトラックの駅はなく、最も近い駅はサンノゼのディリドン駅となる。カルトレインもサラトガを通っておらず、サニーベール駅やマウンテンビュー駅がサンフランシスコ方面への最寄となる。