היהאצ'ירו טוגו נולד בחבל סצומה בעיר קגושימה והשתתף בהגנה על קגושימה נגד תותחני הצי הבריטי בשנת 1864. הוא התגייס לחיל הים האזורי ושימש כקצין תותחנות. לאחר עליית הקיסר מייג'י הצטרף לצי הקיסרי היפני כקצין צעיר. ב-1871 נשלח לבריטניה כסטודנט ימי ולמד במכללה לאימונים ימיים בלונדון. הוא הפליג מסביב לעולם כמלח רגיל על סיפון אנייה בריטית. למד מתמטיקה בקיימברידג', ולאחר מכן פיקח על בניית אניית מלחמה. כשחזר ליפן ב-1878 הוא קודם לדרגת לוטננט, לדרגת לוטננט קומנדר בשנת 1879, לדרגת קומנדר ב-1885, וב-1886 לקפטן. במשך תקופה זו פיקד טוגו על מספר רב של אניות מלחמה, אולם עקב בריאות לקויה הוא כמעט ונאלץ לפרוש. כשהחלה מלחמת סין–יפן הראשונה מונה למפקד הסיירת נאניווה. ספינתו של טוגו האיצה את המלחמה בכך שהטביעה אוניית משא בריטית שהובילה יותר מ-1,000 חיילים סינים לקוריאה. כמו כן הוא השתתף בקרב נהר יאלו שבמהלכו קודם לדרגת אדמירל משנה ומונה למפקד הצי הסדיר.