役者としてのプライドから同業者に厳しい面もあり、自身も常にひたむきな姿勢で演技に取り組んでいた。また、物事に対して筋を通す性格であったため、収録で理に適わないことがあると激怒して帰ってしまったことが何度かあったというが、この行動について古谷徹は「それは出演者皆の気持ちを代弁したもの」と語っている。
後輩の神谷明は、山田の厳しい一面を語る一方、「山田さんは普段からルパンみたいな人で（笑）、カッコよくて、コロコロと性格が変わる役を見事に演じられていた」とも語り、「素晴らしい先輩」としてブログやインタビューで度々山田の名前を挙げている。増山江威子は山田の姿勢や発言について、「良い作品を作るための主張であり、我が儘や闇雲に言っていたわけではなく、『怖い人物』と伝わっている部分にも必ず理由があった」と語っている。
「声優」という呼称を好まなかったものの、「声優」と言われることに対しては「マスコミが勝手にネーミングしたものだし、何と言われてもぼくの才能や力量が変わるわけではないから平気」と答えていた。ただ、その一方で「でも、セイユーと言われるとスーパーの店員になったみたいだね」と、皮肉を交えて語ることもあった。
『ルパン三世 バビロンの黄金伝説』の舞台挨拶に参加した際、舞台から客席へ向かって観客と写真撮影をすることになった山田は「背中に哀愁があるでしょ？」などジョークを挟みつつも、舞台俳優としてのプライドから観客へ背を向けることに対して「お客さんに失礼だ」「ちょっとの間、恐れ入ります」と謝罪しながら撮影を行ったという。