ニューヨークのブロンクス区で誕生。オリヴァ一家はその後カリフォルニア州に移り、1976年にはフロリダ州に移った。1977年から1978年にかけて、メトロポリスというバンドでギターとキーボードを担当し、1978年にはメトロポリスのメンバーとして初のレコーディングを経験した。その後、ジョンは実弟のクリス・オリヴァ等と共に、サヴァタージの前身バンドであるアヴァターを結成。なお、ジョンはごく初期のアヴァターではドラムスを叩きながら歌っており、その後ベースを弾きながら歌っていた時期もあったが、最終的にはスティーヴ・ワコルズ（ドラム）とキース・コリンズ（ベース）が加入してラインナップが固まる。そして、アヴァターはインディーズのPer Recordsからアルバムをリリースすることになるが、同名のバンドの存在が判明したため、サヴァタージと改名。サヴァタージは1983年にデビュー・アルバム『サイレンズ』を発表した。アルバム『エッジ・オブ・ソーンズ』（1993年）では、新たにザッカリー・スティーヴンスをサヴァタージのリード・ボーカリストとして起用し、ジョンはプロデュース、作詞・作曲、キーボード演奏で参加した。以後、サヴァタージはアルバム『ウェイク・オブ・マゼラン』（1997年）までザッカリー・スティーヴンスがリード・ボーカルを担当する形となる（ただし、一部の楽曲ではジョンがボーカルを担当）。また、クリス・キャファリー（サヴァタージのセカンド・ギタリスト）やドラマーのジョン・オズボーンと共にドクター・ブッチャーというサイド・プロジェクトを立ち上げる。1993年10月17日、実弟でありサヴァタージでの盟友でもあるクリス・オリヴァが交通事故で死去。ジョンは大きなショックを受けるが、クリスの思い出を生かし続けるためにも、サヴァタージを存続させることを決意した。1994年には、ドクター・ブッチャー名義のアルバム『ドクター・ブッチャー』を発表、ジョンは同作でボーカル、キーボード、ベースを担当している。サヴァタージのアルバム『ハンドフル・オブ・レイン』（1994年）のレコーディングはジョン、アレックス・スコルニック、ザッカリー・スティーヴンスの3人だけで行われ、ジョンはキーボードだけでなくリズムギター、ベース、ドラムスも演奏した。1996年からは、サヴァタージの多くの作品を手がけてきたプロデューサー、ポール・オニールを中心としたトランス・シベリアン・オーケストラにも参加する。2000年にザッカリー・スティーヴンスがサヴァタージを脱退すると、再びジョンがサヴァタージのリード・ボーカリストとなり、アルバム『ポエッツ・アンド・マッドメン』（2001年）は、サヴァタージのアルバムとしては10年振りに、ジョンが全面的に歌った。2003年にはジョン・オリヴァズ・ペインを結成して、ジョンはリード・ボーカル、キーボード、ギターを担当。ジョン・オリヴァズ・ペインは2004年にファースト・アルバム『タージ・マハール』を発表した。その後のジョンは、ジョン・オリヴァズ・ペインおよびトランス・シベリアン・オーケストラとしての活動を中心としている。
2014年5月、ディズニー社CEOのボブ・アイガーは、第1作『ガーディアンズ・オブ・ギャラクシー』について、「フランチャイズする強い可能性」("strong franchise potential") があると述べた。アイガーは終着点について、「第2のアベンジャーズ」("another Avengers") を作ることだと付け加えた。1作目の監督と共同脚本を担当したジェームズ・ガンは、続編を製作したいと述べ、自身の契約で、要求があれば製作に戻る義務が課せられていることを明かした。翌月、製作のケヴィン・ファイギは、「場所[=フランチャイズ]を提供でき、どこに行きたいかという方向性も持っている」と述べ、登場人物や世界観、原作コミックの筋書きから、幅広く取り入れて方向性を作ったことを明かした。2014年7月、第1作の共同脚本を担当したニコール・パールマンが続編製作を認め、これは第1作がディズニー社内で好評を得たことから「たまたま決まった」("going to happen") もので、ガンが次作でも脚本・監督を務めるとした。直後のサンディエゴ・コミコン・インターナショナルでは、第2作の公開日が2017年7月28日に決まったと発表された。ガンは1ヶ月以内に次作に向けた準備を始め、コミックスから少なくとも1人のガーディアンが新たに登場するだろうと述べた。10月にはガンから、第1作に登場した5人のガーディアン全員が、その他の脇役共々再登場することが明かされ、さらに公開日は2017年5月5日に前倒しされた。その後数ヶ月して、マイケル・ルーカーが次作でもヨンドゥ役で続投することを明かし、キャラクターの造型を更に探求できるのが楽しみだと述べた。ピーター・クイル / スター・ロードを演じていたクリス・プラットも、自身の次回作のひとつに、このシリーズの続編が含まれていることを認めた。ロケット役の続投について尋ねられたブラッドリー・クーパーは、自身の興味と興奮を明かした。ヴィン・ディーゼルもグルートの声で続投することを認めた。2015年3月にガンは、第1作から「クルーを大幅変更」("major crew changes") した上でジョージア州アトランタで撮影が行われること、また弟でクラグリン役を演じたショーン・ガンと、ネビュラ役を演じたカレン・ギランの続投を明らかにした。ガンは自身とマーベルの関係性について、会社は「自由に自分の仕事をさせてくれるし、こちらも相手の草案や企画には真剣に耳を傾ける。ある人物を登場させたり、ある要素をプロットに入れるよう言われたことは1度も無い。信用してくれたら適当な場所をくれるんだ。[中略]彼らのことが大好きで、彼らと働くのが楽しい。いい結婚のように息ぴったりだね」と述べている。5月、ガンは続編の登場人物は第1作より少なくなると述べ、また脚本にマンティスとアダム・ウォーロックを登場させるつもりだとした。ガンがマンティス役に思い描いていた俳優との交渉が始まり、その後映画が「せわしなくなり過ぎる」("getting too busy") ことから、ガンはウォーロックの登場を取り止めた上で、「『ガーディアンズ・オブ・ギャラクシー』で大事なことのひとつは、キャラクターの枝葉を加えないこと、話を大きくしないでキャラクターの深部に迫ること……[中略]そして彼らをより感情的に知ること……[中略]自分にとってスーパーヒーロー・コミック原作の映画は、全てが無秩序で正気でないように思えるんです」と説明した。加えてガンは、「彼[アダム・ウォーロック]と共にやった版が大好きだ。アダム・ウォーロックを入れて、本当に創造的でユニークなものを作れたと思っている。それでもたった1人であれ多過ぎで、マンティスを失いたくはなかったし、どうやってもマンティスの方が、より自然に映画の一部分になっていた」と述べた。彼はウォーロックが将来的にシリーズ作品に登場する可能性は認め、マーベル・シネマティック・ユニバースのコズミック・サイドで「とても重要な立場」("a pretty important part") を占めるとの見通しを示した。将来的な登場については、完成した第2作のミッド・クレジットでも仄めかされた。ウォーロックの存在を仄めかしたことについてガンは、マーベル側からファンが『アベンジャーズ/インフィニティ・ウォー』ならびにその続編でのウォーロック登場を待ち望んでいるようだと伝えられ、このシーンやガン自身のSNSを通じて、ウォーロックはこの2作に登場しないことを明確に伝えるためだったのだと述べている。