Va romandre en aquesta posició durant les etapes inicials de l'Operació Barbarroja fins a l'agost de 1941, quan va ser fet Cap d'Estat Major del Front de Crimea, càrrec que ocuparia fins al març de 1942. Entre maig i juliol de 1942, en què va ser nomenat assistent al comandant del Districte Militar de Stalingrad. Després d'això, va ser comandant del 58è Exèrcit fins al març de 1943. El 58è Exèrcit participà en la Batalla de Stalingrad, en la qual el superior de Tolbukhin, Coronel General Ieriómenko, lloà la seva organització i la seva habilitat militar. Posteriorment va ser destinat a comandar el Front Sud.