Fu incarcerato dalle autorità naziste il 23 giugno e rilasciato alla fine del 1933. Dopo il complotto del 20 luglio 1944, fu arrestato a causa delle sue connessioni con il circolo della resistenza attorno a Carl Friedrich Goerdeler. Löbe fu interrogato dalla Gestapo e deportato nel campo di concentramento di Gross-Rosen. I golpisti lo avevano designato come presidente del Reichstag.