この頃世界中のイギリスの植民地では独立運動が活発化し、インドやマレー半島、アフリカ各地をはじめとする多くの植民地を放棄していたが、1949年以降香港に隣接する中国大陸を新たに支配することになった中国共産党政府率いる中華人民共和国は、香港の主権を棚上げしたままイギリスとの国交樹立の交渉を進め、その結果、1950年イギリスは中華人民共和国を国家承認して国交樹立に動き、中華民国とは台湾に駐在する領事館を残した。これは西側諸国としては最も早い中華人民共和国への国家承認であった。またこれを受けてイギリス政府は、将来の香港の主権移譲先を、今や香港から遠く海を隔てた台湾島周辺を中心とした限られた地域のみを統治することになった中国国民党率いる中華民国から、香港に隣接する中国大陸を新たに支配することになった中国共産党政府率いる中華人民共和国へと移すこととなった。
第二次世界大戦後、戦勝国の1国として国連安保理の常任理事国となった中華民国はイギリスに香港主権移譲を要求したが、間もなく発生した国共内戦のため交渉は不調に終わった。国共内戦の結果中華民国の中国国民党政府は台湾島へ遷都し、1949年には中国共産党による中華人民共和国が成立している。共産党政権の成立に伴い、共産主義に反発する多くの中国人が大陸から香港に逃れ、廉価な労働力を提供するとともに、スワイヤー・グループやジャーディン・マセソンなど技術と資本をもったイギリスを中心とした外国資本や華人資本も上海から香港に本拠を移し、香港の経済発展に少なからぬ寄与をした。また、董建華やアンソン・チャンなど香港の華人エリートの中に上海人が多いのも、このような背景による。
中国大陸におけるイギリス資本主義の拠点となった香港では、イギリス政府による植民地統治機関である香港政庁のもとで、19世紀末から20世紀初にかけて華南貿易の基地として発展する。1884年（光緒10年）には跑馬地（Happy Valley・ハッピーバレー）に皇家香港賽馬会（Royal Hong Kong Jockey Club・ロイヤル香港ジョッキー・クラブ）の競馬場が建設されてイギリス人の社交場となり、1877年（光緒3年）には香港西医書院（香港医科大学の前身）が創立され、1910年（宣統2年）には総合大学である香港大学に発展する。経済面では1865年（同治4年）に創設されたイギリス資本の香港上海銀行が、その多くをイギリスが植民地統治下においていた極東最大の銀行に発展し、地域通貨として初期には銀貨が使用され、後の1935年（民国24年）には香港ドルが発券された。1928年（民国17年）に南京国民政府が成立すると清英間で締結された不平等条約の改定を目指したが、イギリス側が交渉に応じなかった。なお当時の中華民国と新界の国境線は開放され、中国人は自由な往来が可能であった。
1843年（道光23年）6月、初代香港総督にサー・ヘンリー・ポッティンジャーが就任、植民地としてのイギリス統治が開始された。更に1856年（咸豊6年）に勃発したアロー戦争の結果、1860年（咸豊10年）に北京条約が締結されて九龍半島もイギリスに割譲される。なお、1873年に日本の岩倉使節団が香港を市内見学しており、当時の様子が「米欧回覧実記」に記されている。そして、イギリスをはじめとした西欧列強による中国進出の圧力が強まる中、イギリスは清朝に迫り1898年（光緒24年）7月1日には九龍以北、深圳河以南の新界地域の租借に成功した。この地域の租借期限は99年間とされ、1997年6月30日午後12時をもって切れることになっていた。
コーエンが生まれる4年前の1891年4月、コルフ島のユダヤ人居住区で8歳の少女ルビーナ・サルダの惨殺死体が発見された。過越祭の直前のことであったため、少女は養子に出されたキリスト教徒の娘であり、その生き血をユダヤ教の儀式に使うために殺したのだという噂が流れ（血の中傷）、かねてからくすぶっていた反ユダヤ感情が爆発した。暴動が頻発し、欧州全土に広がる勢いであった。この影響でユダヤ人は亡命を余儀なくされ、数年の間にユダヤ人の約3分の1がコルフ島を離れることになった。コーエン一家も1900年にマルセイユ（フランス）に移住した。コーエンが5歳のときであった。その後、彼がコルフ島に戻ったのは一度だけ、13歳のときにバル・ミツワー（ユダヤ教徒の成人の儀式）を受けるためであった。それでもまだ戦前には2,000人以上のユダヤ人が住んでいたが、「戦後、強制収容所から生還したのはわずか180人」で、現在、コルフ島には「もうコーエン（ユダヤ系に多い姓）を名乗る者はいない。ユダヤ人は60人ほどしかいない」という。81歳のときに著した自伝小説『ああ、あなた方、同胞である人間よ』（1972年出版）で、10歳の誕生日の出来事を初めて詳細に語った（最初は「私が10歳になった日」と題して、レイモン・アロンが編集長を務める月刊誌『自由フランス』に発表された）。ある露天商に反ユダヤ主義的な言葉を浴びせかけられ、他の大勢の客からも嘲笑され、追い払われた事件である。10歳の子どもが大人の言葉の暴力やいわれのない憎しみに直面し、理解に苦しみ、狂気の縁に追いやられながらそれを表現することもできないまま苦しみ続ける様子を描いたこの作品は、シャルリー・エブド襲撃事件で同僚を失った風刺画家リュズが同名の著書（2016年出版）で画によりこれを表現したことで再び注目を浴び、ユダヤ芸術歴史博物館などで特別展・回顧展が開催された。初等教育はカトリック系の学校に通い、1904年にティエール中等教育学校に入学。学友のマルセル・パニョルとは以後、それぞれ異なる境遇にありながらも生涯にわたって友情を育むことになった。1913年、バカロレアを「良」で取得した。