Löbe fue encarcelado por las autoridades nazis el 23 de junio, aunque sería liberado a finales de año. Después del Atentado del 20 de julio de 1944, volvió a ser arrestado debido a sus conexiones con círculos de la resistencia cercanos a Carl Friedrich Goerdeler. Löbe fue interrogado por la Gestapo y deportado al Campo de concentración de Gross-Rosen. Los conspiradores le habían designado como futuro presidente del Reichstag, aunque este dato no fue descubierto por los nazis.