晩年は禅宗の僧となり、慈孝という僧名を持っていたほか、千葉県内の寺で住職を務めていた。小林清志は羽佐間道夫との対談で井上が「住職の息子」だと発言しているが、これについて井上本人は「息子ではない」と否定している。また、長期休暇には山寺に籠もり数日間ひたすら坐禅するなど修行の旅にも出ていた。
『ルパン三世』で共演していた栗田貫一は、追悼の際に「いつもいつも優しくしてくれた素晴らしい大先輩でした」とコメントしている。
仕事に対する姿勢.
井上がデビューしたころの声優業は、「あいつは吹き替えをやっている」と笑われることもあるなど「舞台俳優が片手間にアルバイト感覚でやっている」という認識が強く、自身も稼ぐために始めたこともあって、しばらくは声優業に否定的な考えを持ちながら行なっていた。だが、アニメや声優がブームになり地位が確立されると、徐々に「やりがいのある仕事」に変わっていったという。また、ブームを支持したファンには「仕事そのものの価値が今までの僕等の価値観ではとらえられないものに変ったんですね。その価値を皆さんが与えて下さったんです」「僕の人生観を変えさせてくれ、わずかではあるけども演技観も変えさせてくれるものだった」と感謝を表している。
近年の若手声優に対しては「最近は即席の声優がたくさん出てきているが、演技の勉強が根本的に足りていない。もちろん、素晴らしい演技をしている声優はたくさんいる。でも、『これはまだだな』という演技の子も平気で活躍しているのは、あまり良いことではない」と語り、「どこかで聞いたことのあるような、口先の演技が横行していることはどうしても許せない。プロである以上は、オリジナリティを出してほしい。真似はダメだ」という思いを述べている。
役作りについて「アニメだろうが、洋画だろうが、そのキャラクターの内面を想像して、その中に自分を入れ込む作業だから、何かを持ってきて参考にして、というのはやらない。もし、それをやってしまったらどこか物まね的になってしまう。とことん自分が考え、思い詰めていく中で何かが出てくる、それが役者の仕事なんだよ」と発言している。
役作りの一環として、アフレコの際は演じる役と同じ、またはそれに近い衣装を着て行なっている。『ルパン三世』の石川五ェ門を演じる際は、作務衣を着ていたという。
エピソード.