港犹太社区于1857年成立。第一座犹太教堂于1870年在荷里活道的一所出租屋内成立。一个纪念雅各布·沙宣爵士的母亲利亚的新犹太教堂，于1881年取代了旧的教堂。犹太教堂于1901年建成，1904年公社陵墓扩大，以符合社会各界的需要，由香港唯一的犹太港督弥敦爵士和嘉道理家族建造的犹太人俱乐部于1904年创建并在1909年扩大。在1882年，香港有60个犹太人，在1921年增长到100人（主要是塞法丁犹太人），在1954年增长至250人（塞法丁和阿什肯纳兹犹太人各佔一半）。之后增长放缓，1959年人口只有2