1981年、ワーナー・ブラザース・レコードとソロ契約し、セカンド・ソロ・アルバム『ワード・オブ・マウス』をリリース 。翌1982年にはピーター・アースキンと共にウェザー・リポートから脱退し、ジャコは自身のビッグ・バンドに活躍の主軸を移した1982年4月には「ジャコ・パストリアス・バンド」として来日公演が予定されチケットも一般発売されたが、来日直前で病気などを理由に急遽ツアーは中止となった。そして、同1982年8月下旬〜9月上旬にかけて、オーレックス・ジャズ・フェスティバルに参加する形で「ワード・オブ・マウス・ビッグ・バンド」としての来日公演を行い、各地で大成功をおさめた。この来日公演の模様は、後日NHK放送枠でオンエアされ、コンサート音源はライブ・アルバム『Twins I & II』などにも収められている。日本側からは東京ユニオンのメンバー数人がホーン・セクションとしてビッグ・バンドに参加していた 。翌1983年5月21日と22日には、再び「ジャコ・パストリアス・バンド」として東京新宿厚生年金会館大ホールでの来日コンサートが行われ、小編成ながらジャコの健在ぶりをアピールした。ほぼ同じ編成でモントリオールでのジャズ・フェスティバルへも出演していて、その模様は『ライブ・イン・モントリオール』としてビデオ・テープ版とレーザー・ディスク版で発売され、後にDVD版でも再発売されライヴ映像として残されている。その後から晩年にかけてのジャコは、彼の健康状態や、奇行や荒れた生活から来る悪評によりニューヨークのジャズ・クラブ等の多くから出入り禁止を受けるなど、業界から「干された」状況となって行く。しかし当時のニューヨーク以外ではこの事実は知られず、ギター誌の表紙にもなり、ジャコ自身も多くのレコード会社やプロデューサーへ電話を掛けるなどしカムバックを画策していた。小規模なギグ中心の音楽活動自体は続けており、マイク・スターンやハイラム・ブロック、ケンウッド・デナード等とのセッションを行っていた。
フロリダにウェザー・リポートのツアーで訪れていたジョー・ザヴィヌルに自分のデモ・テープを渡すなど、ジャコはベーシストとしてバンドに参加したい旨を直接ザヴィヌルへ伝えていた。丁度その頃には2代目のベーシスト、アルフォンソ・ジョンソンが脱退する予定であったため、1975年12月から1976年1月にかけての『ブラック・マーケット』のレコーディング・セッションで、ジャコはザヴィヌル作の「キャノンボール」と自作の「バーバリー・コースト」の2曲にベーシストとして参加した。これ以降、ジャコはウェザー・リポートの正式メンバーとなり、次作『ヘヴィ・ウェザー』以降ではコ・プロデューサー  としてクレジットされるようになった。ウェザー・リポートでは単なるベーシストとしてではなく、曲提供なども含め、色々な意味での音楽的貢献度は高まっていた。『ヘヴィ・ウェザー』に収録され、ジャコのベース・ソロを聴くことが出来る「ティーン・タウン」では、父親譲りのドラミングも披露しており、後にライブ・アルバム『8:30』のスタジオ録音サイドに収録されている「8:30」でも、ジャコがドラムスを叩いている。来日コンサート時にはステージのオープニング曲としてジャコがドラムを叩いている。『ミスター・ゴーン』ではジャコ色が若干弱まったシンセサイザーとシーケンサー主体の抽象的なサウンドになり、この頃からジョー・ザヴィヌルとの確執が噂されるようになった。これ以降ウェザー・リポートのライブではジョー・ザヴィヌルの楽器類とジャコのベース・アンプの音量が非常に大きくなり、互いが音量でも競い合っているような雰囲気だったため、会場でPAされたサウンドは、ほぼロック・コンサート並の大音量だった。ウェザー・リポート以外にもトリオ・オブ・ドーム (ジョン・マクラフリン、トニー・ウィリアムス、ジャコのトリオ) でのレコーディング・セッションと、トリオ・オブ・ドームでのハヴァナ・ジャム出演や、ジョニ・ミッチェルのアルバム・プロデュースとコンサート・ツアーへの参加など、一気に黄金時代を迎え華々しい活躍を続けていた。
マイアミ大学でジャコ同様に教鞭を執っていて、良き音楽仲間でもあったパット・メセニーの1975年にリリースされた初リーダー・アルバム『ブライト・サイズ・ライフ』にベーシストとして参加。そして同年、ブラッド・スウェット・アンド・ティアーズのドラマーであるボビー・コロンビーとジャコが出会い、驚異的なベース・テクニックはデビュー・アルバム制作をコロンビーに決断させた。アルバム制作作業と併行して約2か月間コロンビーのバンドに参加し、そこでマイク・スターン（ギタリスト）と2年ぶりに再会し、以後の音楽活動とプライベートの両面で親しくなった。翌1976年、コロンビーのプロデュースで『ジャコ・パストリアスの肖像（原題・Jaco Pastorius）』が発表された。
1981年9月16日に阪急西宮球場で行われた阪急対ロッテ後期11回戦にて、山森は今も語り継がれるファイン・プレーというべき捕球を行った。1回表ロッテの攻撃で、2番の弘田澄男は阪急先発の山田久志のボールを打ち返し、山森の守るレフト方向へ、高く舞い上がる大きなフライを放った。この大きな当りはレフトのラッキーゾーンを超えてホームランになる、そう誰もが思ったが、山森は自分の身長よりもかなり高いラッキーゾーンの金網の最上部に右足の中段でのワンステップだけでまるで猫のように飛び乗ると、左足と右手を金網に掛けて右足でバランスを取りつつグラブを差し出した。ボールは山森の構えるグラブにおさまり、ホームランと思われた打球はこのプレーによってアウトとなった。このプレーでアメリカの野球殿堂関係者が「日本人第一号の米国野球殿堂入り」を決めた。このことで、日本中で大きな話題となった。現在も殿堂入りしたメジャーリーガーと同じように写真とこのプレーをした時の映像が流されている。また、アメリカのテレビで放送されたホームランキャッチベスト10特集で並み居るメジャーリーガー達を抑えて1位を獲得したこともあった。名称だけを見ると曲芸のような技と思われるが、山森は試合前の練習中常にフェンスの高さ、フェンスまでの距離を確認し、金網の上を歩く練習までしていたと言われており、実際には常日頃からの準備が実った結果と言える。山森もこのプレーは「練習の延長の様なもの」としか思っておらず、殿堂入りするまではよく覚えていなかったといい、むしろ翌日に弘田から「よくもオレの数少ないホームランを取ってくれたな」と怒られたことを覚えていたという。またこの当時、「山森が捕球したままスタンド（ラッキーゾーン）に落ちたらホームランなのかアウトか?」と話題になったが、あの体勢で捕球後にスタンドに落ちてもボールを落とさなければ打者はアウトである。1990年5月3日にグリーンスタジアム神戸で行われたオリックス対日本ハム5回戦でも、自身２度目のホームランキャッチをしている。