A TB-3 foi utilizado operacionalmente durante a Batalha de Khalkhin Gol e na Guerra de Inverno com a Finlândia. Apesar de ter sido oficialmente retirado de serviço em 1939, no início da Grande Guerra Patriótica, em 22 de junho de 1941, a Força Aérea Soviética teve 516 TB-3s operacionais, com um adicional de 25 operada pela Marinha soviética. Estacionados longe fronteira ocidental da URSS, os TB-3 escaparam de perdas catastróficas durante os primeiros ataques aéreos alemães, após a qual TB-3 do terceiro TBAP (Regimento de Bombardeiro Pesado) começou a voar missões noturnas, em 23 de junho. Escassez de aviões de combate prontos também exigiu a utilização diurna de TB-3 sem escolta de caças e neste papel os bombardeiros, operando a altitudes baixas e médias, sofreu pesadas perdas para combatentes inimigos e fogo de chão. Em agosto de 1941, TB-3s composta de 25% da força de bombardeiros soviéticos e, operado pela elite tripulações da Força Aérea, estavam voando até três missões de combate por noite. A aeronave participou de todas as grandes batalhas da guerra até 1943, incluindo o primeira batalha de Smolensk, a Batalha de Moscou, a Batalha de Stalingrado, o cerco de Leningrado, e a Batalha de Kursk. Em 1º de julho de 1945, a Força Aérea Soviética ainda tinha dez TB-3s no ativo.