Na de Japanse nederlaag in de Slag in de Koraalzee in mei 1942 werd Inoue van zijn commando ontheven en werd hij hoofd van de Academie van de Japanse Keizerlijke Marine. Tegen het einde van de Tweede Wereldoorlog werd hij benoemd tot viceminister van Marine.