TB-3 đã được sử dụng trong Trận Khalkhin Gol và trong cuộc Chiến tranh mùa Đông với Phần Lan. Mặc dù đã được chính thức nghỉ hưu năm 1939, buổi đầu cuộc Chiến tranh giữ nước Vĩ đại ngày 22 tháng 6 năm 1941, Không quân Xô viết vẫn có 51 chiếc hoạt động được, với 25 chiếc nữa thuộc Hải quân Xô viết. Chiếc máy bay này đã tránh được không bị phá huỷ trên mặt đất trong giai đoạn đầu cuộc chiến và những chiếc TB-3 thuộc 3 TBAP (Trung đoàn Ném bom Hạng nặng) đã bắt đầu thực hiện các phi vụ ban đêm ngày 23 tháng 6. Vì sự thiếu hụt các máy bay sẵn sàng chiến đấu nên những chiếc TB-3 cũng phải hoạt động ban ngày mà không có sự hỗ trợ của các máy bay chiến đấu, thực hiện các phi vụ ném bom tầm thấp và tầm trung, chịu rất nhiều tổn thất trước các máy bay chiến đấu cũng như hoả lực mặt đất quân địch. Tới tháng 8 năm 1941, những chiếc TB-3 chiếm 25% lực lượng máy ném bom Xô viết và, được điều khiển bởi những phi công giỏi nhất, thường tiến hành tới ba phi vụ ném bom mỗi đêm. Chiếc máy bay này đã tham gia vào mọi trận đánh lớn cho tới tận năm 1943, gồm cả Trận Smolensk lần thứ nhất, Trận Moscow, Trận Stalingrad, cuộc Phong toả Leningrad, và Trận Kursk. Ngày 1 tháng 7 năm 1945, Quân đoàn không quân số 18 vẫn có 10 chiếc TB-3 hoạt động tích cực.