Od července 1938 velel štábu zakavkazského vojenského okruhu. V této funkci setrval i po operaci Barbarossa do prosince 1941. Od prosince 1941 do ledna 1942 působil jako náčelník štábu Kavkazského frontu. Od ledna 1942 do března 1942 jako náčelník štábu Krymského frontu. V této funkci připravil plán Kerčsko-feodosijské operace, ale v průběhu její realizace byl na podnět L. Mechlise odvolán z funkce. Od května do července 1942 pak působil jako poradce velitele stalingradského vojenského okruhu. Následně byl pověřen velením 57. armády nasazené v bojích o Stalingrad. Jeho nadřízený velitel Stalingradského frontu generálplukovník Andrej Jeremenko vysoce hodnotil Tolbuchinovy vojenské a organizační schopnosti. Po skončení bojů byl povýšen do hodnosti generálporučíka a krátce velel 68. armádě jihozápadního fronty. Zanedlouho byl znovu povýšen – v dubnu mu byla udělena hodnost generálplukovníka. V téže době byl pověřen velením jižního frontu. Dne 20. září 1943 byl front přejmenován a dostal označení 4. ukrajinský front. Následujícího dne byl Tolbuchin povýšen do hodnosti armádního generála. Jeho jednotky se podílely na bojích při přechodu Dněpru na Ukrajině. V květnu 1944 přebral po Rodionu Malinovském velení 3. ukrajinského frontu. Dne 12. září 1944 získal hodnost Maršál Sovětského svazu. Následně se podílel na dobytí Rumunska, Bulharska, Maďarska, Jugoslávie a Rakouska.