Han ble et medlem av den keiserlige japanske marinen og deres generalstab i 1927. Han var en del av den japanske delegasjonen som ble sendt til London Naval Conference i 1929-1930. Da han returnerte tilbake til Japan, ble han tildelt rollen som saksbehandler på krysseren Yura. Han ble forfremmet til kaptein i 1932, og han og ble tildelt rollen som den sjømilitære attaché til Washington D. C. mellom 1934 og 1937. Da Yamaguchi returnerte tilbake til Japan i 1937, ble han tildelt rollen som kaptein på den japanske krysseren Isuzu. Denne rollen hadde han i 1936 og 1937, etterfulgt av sitt lederskap på slagskipet Ise (1937–1938). Han ble forfremmet til kontreadmiral den 15. november 1938.