Koniec jego dobrej passy nastąpił w maju 1942, wskutek niepowodzenia „Operacji MO” – próby zajęcia bazy alianckiej w Port Moresby. Po nierozstrzygniętej bitwie na Morzu Koralowym pełnił dowództwo 4. Floty jeszcze do 26 października 1942, kiedy został odwołany do Tokio, aby objąć stanowisko komendanta Akademii Marynarki.