החל מאוגוסט 1941 טולבוחין שירת כראש מטה של חזית עבר הקווקז, חזית הקווקז וחזית קרים. במסגרת זו הוא היה אחראי מצד ברית המועצות על תכנון וביצוע של הפלישה הבריטית-סובייטית לאיראן באוגוסט-ספטמבר 1941. בשנת 1942 טולבוחין היה אחראי על תכנון קרב קרץ' ולאחר הכישלון בקרב זה הוא הועבר מתפקידו. ביולי 1942 הוא מונה למפקד הארמייה ה-57 שהייתה במרכז קרב סטלינגרד. בפברואר 1943 מונה טולבוחין למפקד הארמייה ה-68, ובמרץ 1943 מונה למפקד החזית הדרומית. בהמשך מונה טולבוחין למפקד החזית האוקראינית הרביעית והחזית האוקראינית השלישית. בתפקידים אלו הוא היה אחראי על שחרור חצי האי קרים והשתתף באופן פעיל בהכנה וניהול מבצע יאשי-קישינב. לאחר שכוחות בפיקודו הגיעו לגבולות ברית המועצות הם המשיכו מערבה ושחררו משליטה נאצית את רומניה, בולגריה, יוגוסלביה, הונגריה ובסופו של דבר הגיעו לווינה.