Han bosatte seg i 1931 i Gstaad, men var fra 1938 forfulgt av nasjonalsosialistene og oppholdt seg inntil 1940 i Bern og Geneve. Han flyktet videre til USA og underviste på New York universitet. I 1946 reiste han tilbake til Sveits. Han grunnla i 1947 Den europeiske parlamentariker-union som samme år holdt sin første kongress i Gstaad. Under unionens andre kongress var blant andre Konrad Adenauer til stede. I Interlaken presenterte han i 1948 sin plan for en europeisk føderasjon, som ble støttet av mer enn 500 europeiske parlamentarikere. Coudenhove-Kalergi fikk ikke tilstrekkelig støtte til sine føderalistiske ideer, men fortsatte å arbeide for europeisk integrasjon.