Tolbukhin forble i denne posisjonen gjennom åpningsfasen av den tyske Operasjon Barbarossa før han i august 1941 ble gjort til stabssjef ved fronten, og denne stillingen hadde han fram til mars 1942. Fra mai til juli 1942 var han assisterende sjef for Stalingrad. Etter det var han sjef for den 58. hæren fram til mars 1943.