Vanwege zijn contact met Carl Friedrich Goerdeler werd hij op 23 augustus 1944 na het Complot van 20 juli 1944 opnieuw gearresteerd. Als de aanslag op Hitler gelukt was, dan zou Löbe voorzitter van de Rijksdag geworden zijn. De Gestapo wist dat niet en zo ontsnapte Löbe aan de doodstraf en zat hij enkel kort in de gevangenis te Breslau en dan in het concentratiekamp Groß-Rosen waaruit hij in de lente van 1945 vrijgelaten werd.