1996年はフットワーク・アロウズのジャッキー・オリバーから残留のオファーを受けたが固辞し、その後ラルースやロータス、ミナルディと交渉した結果、ミナルディへの移籍が決まった。その後イタリアで行われた参戦発表会に参加し、フィオラノ・サーキットでのテスト走行も行っていたが、シーズン開幕直前になって突如井上はシートを失う。持込みスポンサーであるユニマットが急きょ他の日本のチームへのスポンサーを決めたために、参戦の後ろ盾を失ったためとも報じられた。後に井上はこれを『Racing On』誌のインタビューで認めたが、詳細は語ろうとしなかった。結局このまま井上はF1を去ることとなった。
上記のとおり国際F3000選手権に参戦していたが、日本企業のNOVAやユニマットなどのスポンサーを持込み、1994年のF1日本GPで新興チームのシムテックからF1デビューを果たす。非力で古いトランスミッションを搭載した時代遅れなマシンにもかかわらず、予選を26位で通過したものの、決勝レースは豪雨のため片山右京やジョニー・ハーバートなどほかの複数のドライバー同様にホームストレート上でスピンしてリタイアした。国際F3000で所属していたのがスーパーノヴァレーシング（大口出資者に語学学校のNOVAがいた）で、F1参入の際もNOVAがスポンサーであったため、古舘伊知郎はフジテレビジョンの実況で、井上を「F1駅前留学」と評した。当初は1995年よりスーパーノヴァ・レーシングによるF1参戦を視野に入れ、元トムスGBのスタッフと共にデザインを起こすまで進められていたが中断した。さらにシーズン後に行われたF3000のテスト走行では終始好タイムを出していたために、F1シーズン参戦とF3000継続を迷ったものの、後述のようにF1シーズン参戦のオファーがあったためにF1への本格ステップアップを決めた。
1994年には再びヨーロッパに渡り、国際F3000選手権にチームと共にステップアップした。上位入賞を度々飾ったチームメイトのヴィンセンツォ・ソスピリに比べ、井上の成績は安定していたものの念願の表彰台獲得は果たせなかった。最高位は入賞直前の7位（当時入賞は6位までであった）。なおこの年の国際F3000選手権には、その後同じくF1ドライバーとなる野田英樹もフォルティから参戦していた。なおこの頃、井上は自らのメインスポンサーでもあるNOVA GROUP総帥猿橋望の「秘書的な役割」を担っており、レースの無い平日にはNOVAの東京本部に勤務していたという。
1993年にもコンスタントに入賞圏内を走り、昨年を上回るシーズンポイントランキング9位を獲得するなどの活躍を見せ（ランキング10位は同じく後のF1ドライバーの高木虎之介）、シーズン最高位4位を獲得した。また、F1日本グランプリの前座では日本人ドライバー最高位の予選3位を獲得し、F1関係者に存在を強くアピールした。さらに、インターナショナルF3リーグでも、54台が参戦する中を勝ち進み日本人ドライバー中3位（総合11位）を獲得した。なお、F3では一貫してダラーラ・シャシーに乗り、「ダラーラ・ワークス」として中継などでも言われることがあったが、これはチームを設立した際、国内のシャシー販売代理店ル・マン商会が販売を断ったため、当時日本未参入だったイタリアのコンストラクターのダラーラに注文せざるを得なかったという事情がある。その後井上は、物流大手のニッパックのサポートを受け、藤池省吉とともに「ダラーラ・オートモビル・ジャパン」を設立し、ダラーラ・シャシーの日本総輸入元を請け負った(現在は先述のル・マン商会である、現・株式会社ルマンが代理店である)。
1992年には、チームメイトに同じく後にF1に上がる中野信治を起用した。コースに習熟したことや、ダラーラが日本の環境に合うマシンの開発に成功したこともあり、中野がポイントランキング5位を獲得し、井上もコンスタントに入賞圏内に入りポイントランキング10位を獲得した。シーズン最高位は4位。またこの年よりインターナショナルF3リーグにも参戦した。
1991年からは、英会話教室などを運営するNOVA GROUPのレース部門として、「スーパーノヴァ・レーシング」として参戦を開始した。マシンは改良されたものの上位争いをできるほどではなく、さらにこの年もバブル景気を受けて参加台数が40台を超える激戦であり入賞せずに終わった。最高位は10位。
ギャング行為はポルスモア刑務所における大きな特徴である。刑務所各階はそれぞれ3つの区域に分かれており、合計500～750のギャングが、各階各区域に分散して存在する。 刑務所のこの区域分けは、ギャングたちが新参収容者から新メンバーを継続的に募集することを規制しようとする意図がある。 しかし、看守が各区域にいる時間は一日の3分の2に満たないため、共同独房におけるギャングの力は強大である。 ギャングによる支配の上では、過激な暴力や性的暴力が行われる。ポルスモアのギャングたちには｢26｣｢27｣｢28｣という3つの分派があり、このことから「ナンバーズギャング」と呼ばれている。 ギャングを離脱できた構成員はほとんど存在しない。 彼らは自分の階級を顔や体に入れ墨するので、刑務所の外においてもその階級は明らかである。 また、ギャングの中には刑務所内でのギャング文化があまりにも染み付き過ぎてしまった為に、刑務所外での市民生活に適応できず、犯していない虚偽の犯罪を自白してまで刑務所に戻ろうとする者すらいる。囚人の大多数は、大規模な失業、教育施設やその他各種の施設の欠如、ホームレス、ギャング行為の蔓延する様な劣悪な地域の出身である。独立宗教組織や非政府組織による訪問といった外部からの提供以外に、ポルスモア刑務所自体から囚人たちに施されるような更生プログラムやリハビリテーションのようなものはほとんど無い。 受刑者はほとんど一日中を人口過密な独房で過ごし、中庭で野外運動をする時間は1日に1時間しか無い。 しかし、この一時間はもっぱら、ギャングのリーダーたちが他の独房の囚人と連絡を取り合ったり、ドラッグの交換をしたり、他の独房の囚人に制裁を与えたりなどする為の格好の機会として利用されている。（ドラッグが監獄内に流入する原因は主に、刑務所に再び戻って来たような囚人が持ち込んだものであったり、看守の買収によるものである。） さらに、運動しようとする受刑者がいるものなら、ギャングのリーダーから制裁を受ける事があるので、この野外運動の為の一時間に実際野外運動が行われることはほとんどないのだ。