しかし、相手をその場で叱責する事はあっても、個人の価値観や嗜好に直接干渉することは避け、自身も努力を他人に悟らせることを良しとなかったという。死後の追悼本では「水面下では必死で水をかきながら、見かけは優雅に水上をすべる白鳥の美学」だと評されている。その一方、シャイで生真面目な一面もあり、バラエティ番組や雑誌などのインタビューでは、はにかみながらも芸や仕事に対する自身の持論や一家言を忌憚なく述べる様子が見受けられた。彼の神経質な性格を表す逸話として、長らく共演した小林清志は、吹き替えの現場で初めて山田と会った際、出番の直前になると必ずマイクが拾わない程度のせき払いを繰り返す山田を見たことから、第一印象は「神経質な青年」だったと後に語っている。上記の通り、物事に対して斜に構える面があった一方で、いざと言う時に見せる優しさや細やかな心遣いは一流であったという。またアメリカンフットボールの観戦も好きで、相手の「こう来るだろう」と思う裏をかいて読み合い、まさかと思った所へボールを入れる様子が、役者が芝居で観客を錯覚させる感覚と似ているため面白かったという。特技はジャズピアノ。ナット・キング・コールの「トゥー・ヤング」等の洋楽を弾いていたという。また、もう一つの特技として英語に堪能であり、海外に住む親しい友人も多かった。好きな言葉は強いて言えば「自由」と挙げていた。エピソード.自由に生きたいため「信念を持たないこと」が自身のモットーで、「そんなにいつまで生きられるかわかんないのにさ。信念なんか持ってて、大上段に振りかぶるなんてのはだいっきらいなんだ」と発言している。将来は「不良老年」になりたいとよく言っており、老いても父兄のようにならず、いつも男女の危険をはらんだ感じで若い女性と手をつないで歩くのが夢だと語っている。一方で「結局はあしながおじさんで終わったりしてね」とも語っていた。