Nei primi mesi delle ostilità nel Pacifico diresse dalla grande base di Truk le operazioni che portarono alla conquista di Guam, delle isole Gilbert, di Wake e di Rabaul; quindi in marzo, dopo averne esposto i vantaggi, poté procedere a sbarcare truppe in Nuova Guinea. Dal 30 aprile fu il comandante superiore incaricato di portare a termine l'operazione Mo, l'occupazione di Port Moresby e Tulagi: tuttavia, per quanto supportato da navi distaccate dalla madrepatria (comprese due portaerei di squadra), non riuscì a catturare il primo obiettivo e la battaglia del Mar dei Coralli si concluse con una sconfitta strategica per l'Impero giapponese. Inoue fu rimpatriato nell'ottobre 1942 e fu posto a dirigere l'Accademia navale di Etajima. Nell'agosto 1944 fu scelto quale nuovo viceministro della Marina e si segnalò tra coloro che intendevano arrivare a un armistizio con gli Alleati. Ammiraglio nel maggio 1945 e Consigliere presso lo stato maggiore generale, dopo la fine delle ostilità si dimise dal servizio attivo, dedicandosi all'insegnamento. Morì in età avanzata nella sua abitazione a Yokosuka.