16世紀に、ガグラとアブハジアはオスマン帝国に征服された。西洋の商人は街から追い出され、住民の多くは山地へ逃げ出し、街は長引く衰退の時代を迎える。18世紀までに、ガグラは森林と病気のはびこる沼地に囲まれた一寒村にまで縮小してしまった。その運命はロシア帝国が版図を広げ、アブハジアを併合した19世紀になって回復した。沼は干拓され、街は新しい陸軍病院を取り囲むように再建された。しかし人口はまだ少なく、1866年の国勢調査では336人の男性と280人の女性、大部分は地元の家族か陸軍士官とその家族が生活していたと記録されている。1877年-1878年の露土戦争で、トルコ軍が侵入し、町を破壊して住人を追い出すなど大きな被害を受けたが、ロシアは戦争に勝ってガグラを再建した。戦後、街はロシア皇族（オリガ・アレクサンドロヴナ皇女の夫）であるペーター・フォン・オルデンブルクによって「発見された」。ペーターはその地域の亜熱帯性の気候に可能性を見いだし、そこに高級保養地を建設しようと決意した。政府から高額の資金を得て、自らの宮殿をこの地に建て、ヨーロッパ周辺の広く様々な様式でその他の建物をいくつも建設した。公園には熱帯の樹木が植えられ、異国の雰囲気を出すためにオウムや猿が持ち込まれた。高価な作業にもかかわらず、その保養地は最初は成功しなかったが、後には黒海の船旅で訪れるますます多くの外国の観光客を引きつけることとなる。
ガグラはトリグリト (Triglite) と呼ばれるギリシア人の植民地として建設され、ギリシア人と土着のアブハジア人が居住した。ローマ帝国に吸収される前の紀元前1世紀にはポントス王国の支配下にあり、ニティカ (Nitika) という名前に変えられた。地理的な条件のため、ローマ人はこの都市を強化した。というのもゴート族などの異民族が繰り返し侵入してきたためである。ローマ帝国の没落の後、その後継である東ローマ帝国（ビザンツ帝国）がこの都市を支配下に置いた。アブハジアの残りの部分とともに、9世紀以降ガグラはグルジアのイメレティ王国に組み込まれる。そしてジェノヴァとヴェネツィアの商人が目立つ、商取引のための大きな居留地となった。主な輸出品は木材、蜂蜜、蜜蝋、そして奴隷であった。ガグラの名前が初めて地図に載るのは、イタリア人のピエトロ・ヴィスコンティが1308年に作った地図である。この地図は現在ヴェネツィアのサンマルコ図書館に収蔵されている。
ヒトラーは自著『我が闘争』（1925年-1926年）に続いて1928年に完成させた生前未発行の口述筆記の自著『Zweites Buch』（第二の書; 続・我が闘争）の中でクーデンホーフ＝カレルギーを「Allerweltsbastarden Coudenhove」（全世界的・全宇宙的な混血人間、クーデンホーフ）と記述している。ヒトラーは教育水準の高い知識人が嫌いで、貴族のような上流階級も嫌いであった（アドルフ・ヒトラー#対人関係）。ヒトラーにしてみればクーデンホーフ＝カレルギーは、根無し草のコスモポリタンでエリート主義の混血種族が、ハプスブルク家に仕えていたクーデンホーフ家の祖先の失敗を大々的に再開しようとしているのであった。1932年の第3回汎ヨーロッパ会議はヒトラーを指弾した。1933年、ヒトラーがドイツ首相に就任し（1月）、汎ヨーロッパの書籍はドイツで禁止され、焚書（焼却）となり、汎ヨーロッパ連合のドイツ支部は解体された。1935年第4回汎ヨーロッパ会議（ウィーン）は国家社会主義が議題になった。1937年にクーデンホーフ＝カレルギーは20世紀の2つの全体主義に関する書籍『Totaler Staat Totaler Mensch』（トータラー・スタート トータラー・メンス; 全体国家 全体人間）を汎ヨーロッパ社から発行した。1938年にナチス・ドイツはクーデンホーフ＝カレルギーがフリーメイソンリーの会員であることを記述した書籍『Die Freimaurerei Weltanschauung Organisation und Politik』（フリーメイソンリー 世界観 組織と政策）を発行した。ナチス・ドイツの「ナチズム」は反ユダヤ主義が組み込まれ、ヒトラー自身も反ユダヤ主義である。ナチスはフリーメイソンリーをユダヤ教に関連する団体と位置付け、クーデンホーフ＝カレルギーによる汎ヨーロッパの組織を国際的なフリーメイソンリーの担い手と見なした。「ナチズム」のヒトラーにとって「汎ヨーロッパ主義」は邪魔であり、1938年のドイツによるオーストリア併合（Der Anschluß Österreichs an das Deutsche Reich）の前夜、クーデンホーフ＝カレルギーは妻イダを連れてチェコスロバキア、ハンガリー、ユーゴスラビア、イタリアを経てスイスへ逃避行を余儀なくされた。ホーフブルク宮殿の汎ヨーロッパ運動本部はナチスに占拠され、約4万点に及ぶ書類が処分された。1939年にドイツ、スロバキア、ソ連によるポーランド侵攻が開始し、第二次世界大戦に発展した。フランスを汎ヨーロッパ運動の本拠にするも、1940年にフランスがドイツの手に落ちると、スイスを経て、ポルトガルの首都リスボンに着き、英国亡命は査証手続き難航により中止。最終的にアメリカ合衆国へ（ここでも査証に苦戦を強いられたが）亡命、1940年8月中旬にリスボンからニューヨークへ渡航した。妻イダと娘のエリカは1940年6月にスイスを経てリスボンからニューヨークへ渡航した。ドイツ軍は1940年7月、英国上陸作戦（アシカ作戦）の口火を切り、バトル・オブ・ブリテンを開始した。亡命の翌年、日本が米国に真珠湾攻撃を行い（1941年12月8日）、太平洋戦争が勃発。ヒトラーは米国に宣戦布告した（12月10日）。米国亡命中はヒトラーが嫌っていた学者となり、ニューヨーク大学にてセミナー等をこなす。1943年の第5回汎ヨーロッパ会議は亡命中の米国で行われ、チャーチルが参加した。1943年7月22日、クーデンホーフ＝カレルギーはユダヤであるという理由でナチス・ドイツからウィーン大学哲学博士号を剥奪された。ニューヨーク大学では1944年に教授認定を受けた。欧州戦線も大詰めの1945年4月30日にヒトラーは自決（アドルフ・ヒトラーの死）。翌月、ナチス・ドイツは降伏し、ヒトラーとナチス・ドイツによるヨーロッパの席巻は終焉した（欧州戦線における終戦）。クーデンホーフ＝カレルギーは戦後の1947年にヨーロッパ議員同盟を創設するなど、ヨーロッパ共同体の進展に尽力した。ナチス・ドイツに剥奪されたウィーン大学博士号は1955年5月15日に再授与を受けた。ヒトラーの未発行本『第二の書』（続・我が闘争）は、1961年に発行された。クーデンホーフ＝カレルギーの汎ヨーロッパ社1937年『Totaler Staat Totaler Mensch』（トータラー・スタート トータラー・メンス）は1939年に逆の題名『Totaler Mensch Totaler Staat』（トータラー・メンス トータラー・スタート）でHerold社から再発行され、1965年にHerold社から『Totaler Mensch Totaler Staat』が再・再発行された。