לאחר מכן הוא מילא מספר תפקידים חשובים ביבשה וב-1898 הוא קודם לתפקיד סגן אדמירל. ב-28 בדצמבר 1903, כשישה חודשים לפני פרוץ מלחמת רוסיה–יפן בשעה שכיהן כמפקד הבסיס הימי מאזורו הוא מונה למפקד בפועל של הצי המשולב. לפני המלחמה הוא נחשב למפקד שגרתי, אולם הוא נבחר למעשה לתפקיד בשל כישרונותיו הטקטיים ונטייתו לעקביות במהלך קרב, תכונות שהפגין במהלך מלחמת סין–יפן הראשונה. בתפקידו החדש פיקד טוגו על ההתקפה הראשונה על נמל פורט ארתור והמצור על המפרץ. ביוני 1904 הוא קודם לדרגת אדמירל ובאוגוסט הוא הביס את הכוח הימי של תת-אדמירל וילגלם ויטגפט בקרב הים הצהוב. תשעה חודשים מאוחר יותר הוא הוביל את הצי המאוחד בקרב צושימה כשהוא מנצח ניצחון מוחלט שלמעשה הביא לסיום המלחמה. ניצחון זה הדביק לו את הכינוי "נלסון של המזרח" ומיקם אותו בין האדמירלים הדגולים בהיסטוריה הימית.