Im Oktober 1940 übernahm Inoue die Leitung des Luftfahrtbüros im Marineministerium und reichte in dieser Funktion ein Memorandum zum verstärkten Ausbau der Marinefliegerkräfte zu Lasten des Schlachtschiffbaus ein. Dies führte letztlich zu seiner Versetzung und Ernennung zum Oberbefehlshaber der 4. Flotte im August 1941. Mit dieser war Inoue zu Beginn des Pazifikkriegs von Truk aus am Angriff auf Guam und an der Schlacht um Wake beteiligt. Im Februar 1942 nahmen Einheiten unter seinem Kommando Rabaul auf Neubritannien ein, das der neue Stützpunkt der 4. Flotte wurde. Nach dem Fehlschlag der Operation MO zur Einnahme von Port Moresby aufgrund der Schlacht im Korallenmeer sank Inoues Stern bei seinem vormaligen Fürsprecher und Chef der Kombinierten Flotte, Yamamoto Isoroku. Im Oktober 1942 wurde er abberufen und zum Leiter der Marinehochschule ernannt. Erst im August 1944 ergab sich für ihn eine neue Verwendung, als er Vizeminister für Marinefragen unter Yonai Mitsumasa wurde. In dieser Stellung wurde er im Mai 1945 zum Admiral befördert.