במקביל ללימודיו הסינים, נשלח אוגאי לטוקיו בשנת 1872. שם למד גם את השפה הגרמנית, השפה המערבית היחידה דאז שנלמדה ביפן, ואשר נחשבה לשפת הרפואה המודרנית. הציפייה מאוגאי הייתה ללכת בעקבות אביו ולהפוך לרופא בעצמו, ואכן כך היה. אוגאי פיתח בהמשך חייו קריירה מרשימה בתחום הרפואה, גם ובעיקר במסגרת פעילותו בצבא הקיסרי של יפן. בשנת 1877 החל ללמוד בבית ספר לרפואה בטוקיו, וארבע שנים מאוחר יותר סיים את לימודיו וקיבל משרת קצין בחיל הרפואה בצבא, שם התמחה בלימודי היגיינה. עם כניסתה של מדיניות הפתיחות למערב גם לשורות הצבא, הוא נשלח להתמחות וללימודים בגרמניה, שם שהה כארבע שנים. עם חזרתו ליפן שימש במדריך בבית הספר לרפואה של הצבא. לכשפרצה מלחמת סין-יפן בשנת 1894, נשלח אוגאי לחזית בתור רופא צבאי. מספר שנים מאוחר יותר הוא נשלח לחזית מלחמה נוספת, היא מלחמת רוסיה–יפן אשר פרצה ב-1904, שם שירת במנצ'וריה ובטיוואן.