1983年オフ、大沢監督が勇退し、新監督として植村義信が就任。植村のチーム構想から外れていたこともあって、江夏のファイターズからの放出が決定した。江夏はこの時大沢から「一緒に退団してくれないか」と言われたと語り、大沢は「俺は監督を辞めようと思っている。お前もよそのチームでやり直した方がいい」と退団を持ちかけたとされている。移籍に当たって江夏は、球団常務となる大沢に希望球団を聞かれ「広島とか阪神とか、巨人を倒すチームだったら行ってもいい」「西武も嫌である」と答えていた。しかし、12月13日柴田保光・木村広とのトレードで西武ライオンズへの移籍が決定。これは、巨人が江夏獲得に乗り出してくると見た西武が、巨人に取られる前に自分の所に引き入れようという意図によるものであったと、後に坂井保之（当時の西武球団代表）は語っている。また大沢も、江夏に移籍を勧めた際にはすでに西武から申し入れがあり、西武の広岡達朗監督の厳しさを知る方が江夏のためになると考えたと述べている。1984年、江夏は開幕から調子が上がらず、シーズン途中で体調不良を訴えた。広岡は江夏の体調の報告が再三にわたって大きく食い違うことに不信感を抱き、二軍落ちを宣告し入院を命じた。その一方で江夏も、二軍落ちの決定を広岡本人ではなく新聞報道によって知らされるなど、広岡が選手とコミュニケーションをとらないことに不満を募らせていた。そしてこの年、チームは優勝争いから脱落、シーズン途中で早くも将来を見据えての若手中心の選手起用を行っており、7月12日の登板を最後に、江夏に出番が与えられることはなかった。江夏は史上初の通算200セーブ、通算3000奪三振を目前にしながら、同年限りで西武を退団し、現役引退を表明。同じ年に引退した田淵幸一と異なり球団主催の引退試合は行われなかった。これに憤ったNumber初代編集長・岡崎満義らの計らいで、多摩市一本杉公園野球場にて、Number誌編集部主催、名球会協力の下、「たったひとりの引退式」が実施され、1万6000人の観衆が詰めかけた。江夏は阪神時代の背番号「28」を背負い、球団の垣根を超えて集まった選手らを相手に日本での最後の投球を披露。監督役としてビートたけしも駆けつけた。この引退式の引退挨拶で、メジャーリーグ挑戦の意志を表明し、「江夏豊36歳、本当にバカな男かも分かりません。ですが、日本に帰ってきたときには、たった一言、ご苦労、それだけ言ってやってください」と語っている。江夏の西武退団の直接的な原因は、広岡監督との確執であった。自著によると江夏は、事前に野村に言われていたことでヘッド格の森昌彦バッテリーコーチの言うことはよく聞いたが（野村と森はチームをこえて長年の親友である）、広岡とはまったくそりが合わなかった。衝突の決定的な要因は、1984年、オーナー陣も参加したキャンプ朝食会の席で、健康のための栄養学に重きを置いて玄米や豆乳を選手に普段から強制する広岡の前、他のコーチや選手がいる中で、「ねぇ監督、こんなもの食べて何で痛風なの?」と問いかけ広岡の怒りを買ってしまい（当時広岡は自身の肉食を制限しておらず、スパイクが履けないほど痛風に悩まされていた）、それ以後出場機会が減らされたとされている。江夏が2軍落ちしたのはプロ18年目で初めてのことであった。広岡監督は玄米や自然食を勧めるなど食事から管理していたものの、自身は痛風の持病があった。ある食事会で「監督はこういうものを食べているのになんで痛風なの」と聞いてしまった。自身も痛風持ちだったので、何気なく尋ねたのだが、監督は気分を害し、席を立ってしまった。—私の履歴書　江夏豊（日本経済新聞、2017年12月29日）そういった事情から江夏は、広岡について「人間的に許せない所があった」と語っていたが、その一方で日本ハム時代に西武から受けた執拗なバント攻めなどから広岡の野球観を高く評価しており、「人間としては問題があっても、野球という面では教えられることが多かったし、素晴しい指導者」と、監督としての広岡を今でも高く評している。広岡の方も「江夏は投げることに関しては素晴らしかったし、何といっても抜群に頭がいい」と江夏を評価している。
藤相鉄道の測量・工事は順調に進んだ。一方で1911年（明治44年）8月に鉄道免許状が下付された駿遠鉄道は、かなり藤相鉄道と競り合ったものの社内の内紛などもあって測量もろくに行われず、1918年（大正7年）5月に免許失効となり会社自体が消滅することになる。藤相鉄道がまず手掛けたのは、藤枝駅と藤枝市街を結ぶ「大手線」区間で、1913年（大正2年）に開業した。続く路線は東海道本線をオーバークロスし、大井川に迫るが、渡河予定地点は大井川河口に近く、川幅は約1kmあり、速やかな架橋は費用の上で困難だった。このため取り敢えず大井川南岸の大幡 - 細江を1915年（大正4年）5月に先行開業し、大井川は徒歩連絡とした。その半年後には有料の人道橋・富士見橋を買収する形で大井川区間を人車軌道として「仮開業」するという、苦肉の策を打ち出している。この人車軌道区間の運行は制約が多く、続行運転の場合は7間（約21m）以上の間隔を空けることが義務づけられていた。また仮橋専属の巡視員を置き、桁の接合箇所を監視して常に安全状態を保つよう政府から求められていた。この区間は単線だったため、数両の続行運転をすると反対側からの運行は少なくとも30分は不可能になり、両側を運行する鉄道線のダイヤが乱れる要因ともなった。このため1918年（大正7年）には橋の中央部に交換用設備を設け、客車2両・貨車2両を待避の上限とする制約を課した上で上下線の交換を可能とした。大井川架橋が難航する間にも、大井川南岸での路線延長ははかどり、遠州川崎町（後に榛原町）へ、さらに相良へと区間開業を重ねた。大井川の鉄道架橋（ただし道路併用橋）が正式に開業したのは、1922年（大正11年）の集中豪雨による富士見橋の流失をきっかけにした大正も末の1924年（大正13年）のことである。そして1937年（昭和12年）7月9日には鉄道専用橋も完成するが、後述するような不況の影響で資金が足りず、橋桁部分こそ鋼製だが橋脚は前時代的な木製だった。このため、橋梁上は通常で15km/h、強風時や増水時は5km/hの速度制限が課されており、さらに風雨の激しい時はこの区間を運休としてバスによる代行輸送を行っていた。同じ頃、中遠鉄道も新袋井 - 新横須賀を開業させているが、こちらは沿線に越えるべき大河もなく、工事はスムーズであった。この後しばらく中遠鉄道の延長は途絶えるが、大正末期に南大坂へ延長し、また新袋井での国鉄との連絡を改善している。昭和に入って1927年（昭和2年）、新三俣まで延長され、戦前の中遠鉄道線は全通した。藤相鉄道も1926年（大正15年）に地頭方まで延長しており、両鉄道の末端同士は15.3kmにまで迫った。