I 1920-årene engasjerte Löbe seg for den paneuropeiske idéen sammen med bl.a. Aristide Briand og Konrad Adenauer. Löbe var president for Den paneuropeiske unionen i Tyskland. Han var også medlem av Reichsbanner Schwarz-Rot-Gold. På grunn av sin opposisjonelle holdning ble han fengslet av nasjonalsosialistene flere ganger, og satt bl.a. i konsentrasjonsleir. Etter krigen deltok han i arbeidet med å bygge opp igjen SPD, og avviste på det sterkeste tvangssammenslåingen av SPD og KPD i den sovjetiske okkupasjonssonen. Han avsluttet derfor samarbeidet med SPD i Øst-Berlin for isteden å bygge opp partiet i Vest-Berlin. Han var også president for Europabevegelsen i Tyskland. Löbe engasjerte seg også for ofrene for fordrivelsen fra østområdene, og gikk sterkt inn for et samlet Tyskland.