Od júla 1938 velil štábu Zakaukazského vojenského okruhu. V tejto funkcii zotrval aj po napadnutí krajiny nacistickým Nemeckom do decembra 1941. Od decembra 1941 do januára 1942 pôsobil ako náčelník štábu Kaukazského frontu. Od januára 1942 do marca 1942 ako náčelník štábu Krymského frontu. V tejto funkcii pripravil plán kerčsko-feodosijskej operácie, no v priebehu jej realizácie bol na podnet L. Mechlisa odvolaný z funkcie. Od mája do júla 1942 potom pôsobil ako poradca veliteľa Stalingradského vojenského okruhu. Následne bol poverený velením 57. armády nasadenej na v bojoch o Stalingrad. Jeho nadriadený veliteľ stalingradského frontu generál-plukovník Andrej Jeriomenko vysoko hodnotil Tolbuchinove vojenské a organizačné schopnosti. Po skončení bojov bol povýšený do hodnosti generálporučíka a krátko velil 68. armáde juhozápadného frontu. Onedlho bol znovu povýšený - v apríli mu bola udelená hodnosť generálplukovník. V tej istej dobe bol poverený velením južného frontu. 20. septembra 1943 bol front premenovaný a dostal označenie 4. ukrajinský front. Nasledujúceho dňa bol Tolbuchin povýšený do hodnosti armádneho generála. Jeho jednotky sa podieľali na bojoch pri prechode Dnepra na Ukrajine. V máji 1944 prebral po Rodionovi Malinovskom velenie 3. ukrajinského frontu. 12. septembra 1944 získal hodnosť Maršal Sovietskeho zväzu. Následne sa podieľal na oslobodzovaní Rumunska, Bulharska, Maďarska, Juhoslávie a Rakúska.