Tiền thân của Binh đoàn là Binh đoàn Mississippi, vốn bị đánh bại trong trận Shiloh và Perryville. Trên cơ sở các đơn vị cũ còn lại của Binh đoàn Mississippi, Binh đoàn Tennessee được thành lập ngày 20 tháng 11 năm 1862. Một vị chỉ huy mới được bổ nhiệm làm chỉ huy binh đoàn là Đại tướng Braxton Bragg. Ông đã nhanh chóng củng cố lại lực lượng và đã chỉ huy binh đoàn đánh bại Binh đoàn Cumberland của quân Liên bang miền Bắc, do Thiếu tướng William Rosecrans chỉ huy, trong trận Stones River vào ngày 31 tháng 12 năm 1862. Tuy thắng trận, Bragg vẫn phải rút khỏi Murfreesboro và tập hợp lực lượng ở Tullahoma để tiếp tục củng cố binh đoàn.