Löbe rejoint le SPD en 1895. Après la Révolution allemande de 1918-1919 il est élu à la vice-présidence de l'Assemblée nationale de Weimar. Membre du Reichstag de 1920 à 1933, il en assure la présidence de 1920 à 1924, puis de 1925 et 1932. Après la prise du pouvoir par les nazis, il occupe brièvement la direction du Parti social-démocrate jusqu'à son interdiction le . Il est emprisonné le lendemain, mais libéré à la fin de l'année. Après le complot du 20 juillet 1944 il est de nouveau emprisonné en raison de ses liens avec le cercle de Carl Friedrich Goerdeler, interrogé par la Gestapo et déporté au camp de concentration de Gross-Rosen.