Yamaguchi var en del av angrepet på Pearl Harbor 7. desember 1941, og senere deltok han i flere japanske raid i Det indiske hav. Under slaget ved Midway, satt Yamaguchi sammen med sin overordnede offiser, Admiral Chuichi Nagumo, på et rekognoseringsfly som oppdaget det amerikanske hangarskipet USS Yorktown i nærheten av Midway. Allerede på denne tiden, var nesten alle de japanske flyselskapenes fly bevæpnet med bomber. Admiral Nagumo ønsket å bytte ut bombene med torpedoer. Yamaguchi hevdet at dette var bortkastet, og at flyene skulle angripe det amerikanske hangarskipet med flyets bomber.