V roce 1933, kdy se k moci ve státě dostali nacisté, byl Thälmann krátce po požáru Říšského sněmu zatčen gestapem. Několik let byl držen ve vazbě na různých místech, až byl roku 1944 převezen do Buchenwaldu, kde byl bez soudu zastřelen.