Po dojściu Adolfa Hitlera w styczniu 1933 do władzy, 3 marca (na dwa dni przed wyborami parlamentarnymi), Thälmann został aresztowany, więziony w Sachsenhausen w tak zwanym Zellenbau (oddział dla więźniów specjalnych), ponadto Moabicie, Hanowerze (od lata 1937 do sierpnia 1943) i Budziszynie (do sierpnia 1944). Po zamachu na Hitlera 20 lipca 1944 zamordowany (rozstrzelany) na jego osobisty rozkaz w obozie koncentracyjnym w Buchenwaldzie. Pochowany na Cmentarzu Centralnym Friedrichsfelde w Berlinie.