桂太郎は大山の参謀総長時代の話として、次のような話を述べている。児玉、川上操六、桂が大議論を繰り広げていると、いつも大山が仲裁役となった。三人はそれぞれ理屈を述べるが、結局大山に唯々諾々と従ったという。大隈重信は世事に疎い武人と見られていた大山が新聞や雑誌を手元に置いていた常識人であったと述べている。
教養.
石黒忠悳は、大山と旅をしていると、その土地々々の有名な詩を暗誦していて驚かされたと回想している。稀に和歌を読むこともあったが、てにをはの使い方などを注意されることがあっても気に留めなかったという。
容貌.
西郷隆盛像のモデル.
大山の従兄弟である西郷隆盛の肖像画として、イタリア人画家エドアルド・キヨッソーネが描いた肖像画がよく知られているが、西郷は生前に写真や肖像画を残していなかったため、キヨッソーネはこの肖像画を顔の上半分を西郷従道、下半分を大山巌をモデルにして描いたといわれている。東京・上野にある西郷隆盛像などもキヨッソーネの肖像画を基にしているとされる。
西洋かぶれ.
大山は西洋かぶれで非常に西洋文化への憧憬が強く、また造詣も深かった。後藤象二郎、西園寺公望らと共に「ルイ・ヴィトンの日本人顧客となった最初の人」として、ヴィトンの顧客名簿に自筆のサインが残っている。捨松との再婚の時の披露宴招待状は全文がフランス語で書かれた物で人々を仰天させたという。陸軍大臣公邸を出たあとに建てた自邸はドイツの古城をモチーフとした物だった。しかし、見た目の趣味はお世辞にもいいとはいえない代物で、ここを訪ねた捨松の旧友アリス・ベーコンにも酷評されている。巌はこの新居に満足していたが、妻・捨松は「あまりにも洋式生活になれると日本の風俗になじめないのでは」と、自分の経験から子供の将来を心配し、子供部屋は和室にしつらえていた。
政治家として.
明治前期には陸軍卿として谷干城・曾我祐準・鳥尾小弥太・三浦梧楼のいわゆる「四将軍派」との内紛（陸軍紛議）に勝利して陸軍の分裂を阻止し、彼等の拠点と化していた月曜会を解散させた。以後明治中期から大正期にかけて陸軍大臣を長期にわたって務めた。元老としても重きをなし、陸軍では山縣有朋と並ぶ大実力者となったが、政治的野心や権力欲は乏しく、元老の中では西郷従道と並んで総理大臣候補に擬せられることを終始避け続けた。