第二段作戦において、第四艦隊（南洋部隊）はMO作戦を担当した。作戦目標はポートモレスビーの海路からの攻略であった。井上は旗艦鹿島をラバウルに進めて指揮を執った。1942年（昭和17年）5月7日、珊瑚海海戦の第1日に、米機動部隊の攻撃で祥鳳（南洋部隊所属）が沈んだ時の心境を、井上は海戦の後に書いたと推定される手記に「実に無念であった。このような時に、東郷平八郎元帥であればどうなさるだろうかと考えた。心中、『お前は偉そうに4F（第四艦隊）長官などと威張っているが、お前は戦が下手だなあ』 と言われているような無念を感じた」という趣旨の記述をしている。井上の下で、第四艦隊航海参謀であった土肥一夫少佐によれば、7月に連合艦隊参謀として連合艦隊司令部に着任した際に、第四艦隊司令部から提出された珊瑚海海戦に関する報告書類、当時の電報綴りに赤字で「弱虫！」「バカヤロー」などと多くの罵詈雑言が書き込まれているのを見たという。