En 1938-1939 aviones TB-3 fueron empleados operacionalmente contra los japoneses durante los incidentes fronterizos de Khalkhin Gol y en la 1ª Guerra de Invierno contra Finlandia. Aunque fue oficialmente retirado del servicio en 1939, al inicio de la Gran Guerra Patriótica el 22 de junio de 1941, la Fuerza Aérea Soviética tenía 516 aparatos operativos, y 25 más la Armada Soviética. Los aviones evitaron la destrucción en tierra en las fases iniciales de la guerra y los TB-3 del tercer TBAP (Regimiento de bombardeo pesado) comenzaron a realizar vuelos en misiones nocturnas de bombardeo el 23 de junio. Debido a la escasez de aviones de combate, debieron realizar además misiones diurnas a media y baja altitud sin escolta de cazas, en las cuales, sufrieron graves perdidas a manos de los cazas enemigos y del fuego antiaéreo. Antes de agosto de 1941, los TB-3 formaban un 25% de las fuerzas soviéticas de bombardeo y eran operados por tripulaciones de élite de las fuerzas aéreas, que llegaban a realizar tres misiones de combate por noche. Estos aviones, participaron en las mayores batallas hasta 1943, incluidas la primera Batalla de Smolensk, la Batalla de Moscú, la Batalla de Stalingrado, el Cerco de Leningrado, y la Batalla de Kursk. El 1 de julio de 1945, la decimoctava Fuerza Aérea, aun contaba con diez TB-3 activos en sus filas.