1950年代の終わりから1960年代前半にかけ、榎本と顔なじみだった選手が立て続けにチームを去っていった。1959年オフ、親しい仲だった沼澤康一郎・佐々木信也が現役を引退し、監督の別当薫もオリオンズを去った。1960年オフ以降は球団の経営主体が変わってオーナー・永田雅一が球団経営を掌握したことや、フロントの意向もあり、毎日色の強い選手（毎日オリオンズの生え抜き選手）たちが次々と放出されていった。同年オフには、榎本と付き合いの長かった西本幸雄監督が、就任1年目にして監督を辞任（日本シリーズでの采配を巡って永田と意見が衝突したため。詳細は西本の項を参照）。1961年オフは榎本の理解者であった荒川博や、打撃について榎本と語り合う仲であった小森光生がチームから放出された。1963年オフには球団が「ミサイル打線を解体して守りのチームを作る」という目標を掲げたため、主力選手の葛城隆雄がトレードで出され、榎本の難解な打撃理論に理解を示していた4番打者・山内一弘もトレードによってチームを去った。特に山内のトレードは「世紀のトレード」と呼ばれ、永田は同トレードの放出候補に榎本の名前も挙げていた。また、ベテランで主力選手でもあった田宮謙次郎は同年シーズン後半に本堂保次監督から冷遇を受け、オフに現役引退を表明。これらの一連の流れによって「大毎ミサイル打線」は瞬く間に崩壊し、主力選手の中で榎本ひとりだけが残る形となった。球団名が「毎日大映オリオンズ」から「東京オリオンズ」となった1964年オフの契約更改にて、球団は榎本に年俸をダウンさせる旨を告げ、さらに「3割に2厘欠けたから（同年の榎本の打率はリーグ5位の.298）」という理由で、A級10年選手制度によるボーナスも満額を渋って規定ギリギリしか出そうとしなかった。前年オフに主力選手が一挙に抜けていたため、同年の榎本はチームリーダーを務めなければならない立場に置かれ（沢木耕太郎は「榎本にはその役回りが（性格的に）向いていなかった」と述べている）、その重圧の中でプレーしながら結果を残したが、それが球団に全く評価されなかった。同年の榎本はリーグ5位の打率の他に149試合に出場して本塁打は7位、打点は6位、盗塁は3位、出塁率は3位、最多四球、最多死球、最小三振という成績を残していた。また、球団側は期待の新人であった山崎裕之に榎本の背番号「3」を提示し（山崎が固辞）、さらに前年の契約時にオーナーの永田雅一が「君はチームに大きく貢献している。打率など心配しないでやってくれ」と発言していたこともあり、榎本は球団に対して強い不信感を顕わにした。大毎時代の球団代表であった和田準一によると、榎本はそれまで契約更改の場では、どのような金額を提示されても「はい」以外言わない選手であったという。18年間の現役生活の中で、榎本が契約更改で感情を表に出したのは、後にも先にもこの時だけである。沢木耕太郎は「その榎本が、この年だけは頑強に拒絶したのは、孤立無援にさせられた者の怒りも含まれていたのかもしれない」と分析している。榎本は翌1965年のシーズン序盤頃から頭の中で耳鳴りを感じるようになり、原因不明の頭痛や悪寒を覚え、体調を崩すようになった。シーズン中盤頃からは奇怪な行動を見せ始め、腱鞘炎になったことも相まってシーズンの成績も低迷。1966年頃には大金を費やして庭に自家用の打撃場を作り、試合が終わった後もそこで延々と練習するなど、それまで以上に打撃の錬磨にのめり込むようになる。同年以降は自分でもコントロールできないほど感情が爆発するという精神的発作に見舞われるようにもなり、自分の打撃に満足できないと自宅にてバットでコーラ瓶や窓ガラスを壊すようになった。また契約更改で訪れた球団事務所にて、椅子に座って瞑想に耽り、7時間動かないなどの行動も見られた。1966年、メジャーリーガーが来日し、ロサンゼルス・ドジャースとの日米対抗戦が開催された際、他の選手が練習している中、榎本ひとりだけがダッグアウトでじっと座禅を組んでいた。不審に思った山内一弘が、「榎本は何やっとんのや?」と巨人の山崎マネージャーに訊くと、山崎は「1時間も前からああしたままなんです」と答えた。山内が「寝てるんか」と榎本を冷やかすと、榎本は「違う」と言って動こうとしなかった。川上哲治監督も、目を瞑ったまま動かない榎本を見て心配になり、試合に出場できるのか尋ねたという。その後、榎本はノックも受けずバッティング練習もしないまま、試合にスタメン出場した。また、榎本は同年のオールスター戦でもベンチで座禅を組んでおり、セ・リーグ監督であった川上を心配させたという。1966年は自己最高の成績を残しているが、このシーズンに関しては後年に榎本自身全く説明がつかないと述べており、「とにかくこの頃はひたすら苦しんでいた」という。「（この頃は）気がついたらバットを持って涙を流していた」とも語っている。また1963年の「神の域」以降は、絶頂期を求めてひたすらフルスイングで挑んでも満足できるスイングができなくなり、いくら精神統一しても、しっくり来なくなったという。1964年以降は球団から打率よりも本塁打を求められるようになり、器用に自分の打撃スタイルを変える事も出来ず、苦悩していたと述べている。若手選手とも馴染めず、打撃の話や打撃論を交わせる人がいなくなり、やがてチーム内で孤立していった。1966年頃からは、自分の打撃に没頭する榎本の姿はチームメイトから奇異なものを見るような眼で眺められるようになり、チーム内の陰で笑い話にされるようになった。チーム名が「ロッテオリオンズ」となった1969年以降は奇怪な行動がさらに激しくなり、三振をするとバットを逆さに持って地面に叩きつけたり、球場のガラスやベンチ裏でコーラ瓶などをバットで叩き割ったり、試合前の客席に入り込んで奇声を発したりするなどの行動を繰り返し、打撃にも影響を及ぼした。1971年7月途中まで監督であった濃人渉は歴代随一の選球眼を持つ榎本に対して「榎本はボール球を振りすぎる」と言い、榎本も不信感を募らせていた。それでも榎本は往年の打撃力を随所で見せていたが（1970年の優勝年など）、同年7月24日に二軍監督から一軍監督に昇格した大沢啓二とは本格的に馬が合わず、大沢は若手の機動力野球を掲げ、功労者である榎本や他のベテラン選手に対して厳しい姿勢を見せた。打撃の機会がほとんど与えられなくなり、首脳陣から信頼されていないことを悟った榎本は、時代の流れと共に周囲から自身の理解者たちが去っていったことや、衰えによって身体が思うように動かなくなったこともあり、精神的に追い込まれていった。1971年8月7日、榎本は大沢監督の方針に対する不満から、大沢がいた医務室のドアのガラスをバットで叩き割り、二軍降格の処分を受けた。これによって精神的な悪化が極まった榎本は、自宅の応接間に猟銃を持って立てこもった。榎本の理解者であった荒川博は、榎本の妻の電話によって榎本宅に駆けつけ、「何をつまらないことをしているんだ」と応接間に入ろうとした。すると榎本は「入るな!」と叫んだ直後、「たとえ荒川さんでも、入ってきたらぶっ放す」と凄まじい音を立てて天井に発砲した。天井の壁土が頭にまばらに降ってきた荒川は、「もう自分の手には負えない」とし、自分の家へ帰るしか仕様がなかったという。この一件については当時の週刊誌は「真偽不明」という扱いで記事を載せたが、後に榎本本人が事実であったことを認めている。旅館で他の選手が就寝している午後11時ごろから、榎本は外で黙々と練習をしていたといわれている。しかし、精神状態が悪化した晩年は成績が残せなくなった。キャリア最終年である移籍先の西鉄でも、榎本獲得時には喜んでいた稲尾監督も榎本を持て余し、結局打率.233の成績で現役引退となった。稲尾は「（西鉄時代の）榎本さんとは会話すら出来ない状態だった」と回想している。同年は出場が少なく、引退試合もなく、報道もほとんどされなかったため、消えていくような引退だったという。現役時代、榎本は麻雀をやるわけでもなく、煙草を吸うわけでもなく、仲間と酒を飲んで騒ぐこともしなかった。若手時代に荒川博に連れて行かれたキャバレーでは、数分も経たないうちに「荒川さん、こんな不潔なところにはいられません。帰ります」と言って帰ってしまった程、生真面目な性格であった。酒はたまに飲むことがあったが、その時も部屋にこもって飲むことが多く、ずっと考え込んでいたという。榎本の精神状態について、葛城隆雄は「発散させるものが何もなかったのかもしれない。内にどんどんこもってしまった」と振り返り、田宮謙次郎は「責任の重さ（山内などの主力打者3人がチームから一挙にいなくなり、榎本ひとりだけになった）に耐えられなくなったのではないか」と語っており、醍醐猛夫は「（榎本が）あまりに『バッティング道』を追いつめすぎたからでしょう」という旨を述べている。また、沢木耕太郎が榎本の父親に、榎本がなぜ不安定になったのか訊いたところ、父親は「……お医者さんによれば、なんだか入団した年に喰ったデッドボールの後遺症だとかいうんですがね」とあまり信じていそうもない口調で答えたという。大毎時代の球団代表だった和田準一は、榎本について、「神経が細過ぎた」と振り返っている。1960年5月26日、試合前の練習中にて、榎本がバットを振っていた。そこにチームメイトの柳田利夫が通りかかったが、榎本は気づかなかったため、榎本の振ったバットが柳田の顎に直撃した。柳田は倒れ込み、顎から血が噴き出し、大騒ぎになった。榎本は顔面蒼白になり、身体を震わせるほど怯え、試合どころの状態ではなくなった。試合数分前になっても榎本の顔が蒼白であったため、西本監督は「コノヤロー、これから戦争をしようってときに、何を女学生みたいにメソメソしてやがるか!」と怒鳴り、榎本をビンタしたという。それまで榎本は打率.412で断トツの首位打者であったが、同日を境に成績が下降した。その後、打撃が復調したのは、柳田が怪我から復帰した6月の終わり以降だった。同年は2位の田宮に2分7厘の差をつけて首位打者を獲得している。豊田泰光は著書にて、「打撃に関し、あれほど純粋で情熱的な人間を知りません。変わりもんと言えば変わりもんで、一塁守備についていても、気になるのは打撃で、ついつい構えている」に続けて、「何せ孤高の人ですから、周りからは敬遠されがちだったんだけど、榎本君のいくところ、不思議なくらい、いつも少年たちが群がっていたんです。守備中に打撃のポーズを取っているような選手は仲間には迷惑だったろうけど、子どもたちだけは一つのことにそれだけ夢中になれることのすごさを知ってたんだろうね」と、榎本の純粋さの本質を突くようなエピソードを紹介している。引退後は野球界と関係を断ち、メディアからのインタビュー依頼も基本的に断っていた。榎本は「本当は打撃コーチをやりたいんです。でも誰も声をかけてくれない。僕は社交ベタだし。そういう人間には話が来ない」と語っている。また、オリオンズのOB会などにも一切出席していない。野球選手としてはチームに多大な実績を残し、貢献したのにも関わらず、OB会で榎本の話が出ることは全くなく、引退後の安否を知るOBも少なかったという。榎本は通算2314安打を記録しているが、長らく野球殿堂入りもしていなかった（没後の2016年1月にエキスパート表彰部門で選出された）。日本プロ野球名球会入りの条件を果たした選手の中で、引退後に球界に関連する仕事に携わらなかったのは、プロ野球史上で榎本ただ1人となっている。