Il 15 novembre 1939, Yamaguchi fu trasferito per un breve periodo allo stato maggiore della 1ª Flotta, assistente, prima di essere nominato comandante della 1ª Unità aerea combinata il 15 gennaio 1940. Diresse questo reparto sul fronte cinese, in particolare coordinando la distruttiva campagna di bombardamenti a tappeto nella Cina centrale. Il 1º novembre 1940 fu promosso, piuttosto sorprendentemente visto che non aveva mai conseguito il brevetto di pilota, al comando della 2ª Divisione portaerei composta dalle moderne "Soryu" e "Hiryu" (quest'ultima nave ammiraglia): si fece notare come un esperto ufficiale, forse il migliore nel dirigere portaerei, e si guadagnò il rispetto e l'amicizia dell'ammiraglio Isoroku Yamamoto. Sin dall'inizio Yamaguchi fu un ardente sostenitore del piano di attacco su Pearl Harbor, del quale una prima versione fu stilata nella primavera 1941; tuttavia essa non prevedeva l'intervento della 2ª Divisione portaerei e Yamaguchi, ubriacatosi, raggiunse il viceammiraglio Chūichi Nagumo (suo superiore) nel suo ufficio e iniziò una zuffa, interrotta dal capo di stato maggiore di Nagumo, contrammiraglio Ryūnosuke Kusaka: solo gli ottimi trascorsi di servizio e il rapporto con Yamamoto evitarono a Yamaguchi di essere espulso dalla Marina imperiale. Una volta stilati i piani definitivi, condusse le sue portaerei alle isole Hawaii e partecipò all'attacco di Pearl Harbor il 7 dicembre 1941, spiccando poi tra quegli ufficiali, dinamici e aggressivi, che insistettero invano con il viceammiraglio Nagumo e il contrammiraglio Kusaka per lanciare una terza ondata e distruggere i depositi di olio combustibile, i bacini e altri obiettivi di valore strategico risparmiati dai primi due attacchi. Sulla via del ritorno in Giappone, Yamaguchi con la 2ª Divisione portaerei, l'8ª Divisione incrociatori (, ) e altre unità fu distaccato a sud per supportare il secondo tentativo di sbarco su Wake, il primo essendo fallito la mattina dell'11 dicembre.