Tolbukhin giữ vị trí này cho đến khi Chiến tranh giữ nước vĩ đại nổ ra, tháng 8 năm 1941, ông trở thành Tham mưu trưởng Phương diện quân Crimea. Từ tháng 5 đến tháng 7 năm 1942 ông là Phó tư lệnh Quân khu Stalingrad, sau đó là Tư lệnh Tập đoàn quân số 57 đến tháng 3 năm 1943. Tập đoàn quân của Tolbukhin đã tham chiến trong Trận Stalingrad dưới sự chỉ huy chung của Thượng tướng Andrey Yeryomenko, người đã đánh giá rất cao khả năng tổ chức và kỹ năng quân sự của Tolbukhin. Sau chiến thắng của Hồng quân ở Stalingrad, ông được thăng chức Tư lệnh Phương diện quân Nam.