Da USPD vendte tilbake til SPD, etter at deres venstreside høsten 1922 hadde gått over til Kommunistische Partei Deutschlands, dannet Ledebour sammen med Paul Wegmann en egen liten gruppe. Ledebour, med sarkastiske debattinnlegg i den tyske riksdagen. Han ble ikke gjenvalgt, og i 1933 flyktet han unna nasjonalsosialistene til Sveits.