Thälmann também foi líder do paramilitar Roter Frontkämpferbund, que foi banido como extremista pelos sociais-democratas do governo em 1929, e em 1932 fundou o Antifaschistische Aktion (Ação Antifascista) ou Antifa. Com a ascensão ao regime nazista, foi preso pela Gestapo em 1933 e mantido em confinamento solitário por onze anos; Stálin não buscou sua libertação quando entrou no Pacto Molotov-Ribbentrop com a Alemanha, e o seu rival, Walter Ulbricht, ignorou os pedidos de defesa em seu nome. Muitos dos seus associados mais próximos, que emigraram para a União Soviética, foram executados durante o Grande Expurgo da década de 1930.