Desde 1941 hasta 1944 pasó a ocupar la jefatura del Estado Mayor de la Armada, año en que las derrotas militares sufridas por Japón le llevaron a perder la confianza del Emperador Hirohito, quien lo destituyó, encargando de su sustitución al Primer Ministro Hideki Tōjō y al Ministro de la Armada Shigetarō Shimada.