Şomayim cemiyeti, Rivington Street'teki tapınağı "Church Extension and Missionary Society"den satın alıp Lower East Side'da hızla artan Rumen Yahudi nüfusunun hizmetine sundu. Bu zamanda gayrimenkulün değeri 95.000$'dı (bugünün parasıyla 2.55 milyon $). Tapınağın satın alımı için gerekli para cemaat üyelerinin bağışlarıyla bir araya getirildi; 10$'ın üzerinde bağış yapanların isimleri mermer levhaya yazılıp, dört mermer levha tapınağın merdiven yoluna asıldı. İki haftalık kazancın 10$'a tekabül ettiği bu dönemde en yüksek bağış 500$'dı. Binanın satın alımı için tut-sat yoluyla biri 50.000 diğeri 30.000 dolarlık olmak üzere (bugünün parasıyla 1.34 milyon ve 810 bin dolar) iki kere borç para alındı.

Cemiyet, binanın renove edilmesi için 6000$'lık ücretle (bugünkü değeri 161.000$) Charles E. Reid'i görevlendirdi. "Derleme Neo-Bizans" sitiliyle tekrar dizayn edilen tapınaktan Hristiyan figürler çıkarıldı ve kuzey tarafa Tora kemeriyle bima eklendi. Renovasyonda, orijinal nal şeklindeki destek korundu fakat buna karşın bazı yapısal değişikliler uygulandı. Tora kemerini ve bimayı taşıyabilmesi için çelik kolonlar eklendi; arka duvar yeniden inşa edildi, galeri genişletildi, biri renkli biri mozaik iki tavan camı yerleştirildi.

Tamamlanan yapı 21'e 30 metre ebatında olup 1600 ila 1800 kişi kapasiteliydi. Aralık 1902'de açılan sinagog Lower East Side'ın en büyük ve tek Romanesk sinagoguydu. Yapı zamanla "mimari ve umumi" bir ilgi kazandı.

1903 yılında Rivington Street'te kurulan sinagog, gerek kapasitesi gerekse şöhreti nedeniyle genelde önemli veya kalabalık toplantılara ev sahipliği yaptı. Nisan 1903'te, Reformist haham ve Siyonist lider Gustav Gottheil'in anısını onurlandırmak için servis düzenlendi; benzer bir servis de ertesi yıl Theodor Herzl için düzenlendi. Ortodoks hahamlar tarafından boykot edilen Herzl için düzenlenen seremonide Herzl methedilmedi ve onun adı kullanılmadı.

Ortodoks Birliği (UOJCA), yıllık üçüncü kurultayını bu sinagogda Haziran 1903'te gerçekleştirirken toplantıya örgütün başkanı Rabbi Henry Pereira Mendes ve yaklaşık 100 delege katıldı. Toplantıda alınan en önemli kararlardan biri, Yahudilik'te boşanma belgesi olan Get'in, sivil boşanma gerçekleşmeden verilmemesiydi. Pereira Mendes, konuşmasında Kişinev Pogromu kurbanlarının ABD'ye getirilmesi için bir komite kurulmasını belirtti ve Reformist Yahudilerin Şabat'ı Pazar gününe taşıma isteklerine karşı çıktı. Pereira Mendes ayrıca UOJCA'nın UAHC ve Washington'daki diğer "dini, yardım sever ve eğitim sunan" Yahudi kurumlarıyla birleşeceğini de bildirdi. Bu birliklerle bir araya gelinip konuşulacağını belirttiyse de ilk konu olarak "göçmen konusu"nun tartışılmasına karşı çıktı.

Aynı toplantıda Albert Lucas, bazı Hristiyan grupların anaokulları ve kreşlerde Yahudi çocuklarını Hristiyanlığa geçirme çabalarına karşı hoşnutsuzluğunu dile getirdi. Din değiştirme çabalarına karşı mücadele olarak, cemiyet Lucas'a binalarında yer tedarik edip "muhitteki bütün çocuklara açık" ücretsiz din dersleri vermesini kararlaştırdı

Aralık 1905'te sinagogda toplu bir miting düzenlenip Rusya Yahudilerine yapılan zulümler protesto edildi ve ölenler için yas tutuldu; mazlumlar için açılan fona cemiyet 500$ bağışta bulundu. Mart 1909'da Ortodoks gruplar, tüm New York Yahudilerini temsil eden Judah Leon Magnes'in kurduğu ve 1922'ye kadar süren "Kehilla"nın kural ve yapısına muhalif olduklarını, sinagogda düzenlenen toplantıda belittiler 1913'te sinagogda, muhit sakinleriyle işadamları Lower East Side'daki mafya olaylarına çözüm bulmak için bir araya geldiler.

Rivington Street sinagogu, Rumen-Amerikan Yahudilerinin sorunlarının tartışılması için tercih edilen bir yerdi. 1905'te, baskı gören Romanya Yahudileri adına çalışan Dışişleri Bakanı John Hay için onursal hizmet yapıldı. 1908'de Rumen-Amerikan Yahudilerini temsil eden 30'u aşkın örgüt bir araya geldi, yine aynı şekilde 1916'da 35 örgütü temsil eden 200 delegeye ev sahipliği yaptı. İkinci toplantıda, zulüm göen Romanya Yahudileri için 1.000.000$ (bugünün değeriyle 21 milyon $) para toplandı.

Pesah bayramı döneminde büyük ölçüde bağış kampanyaları düzenleyen cemiyet, 1905'te vagonlar dolusu matsayı ihtiyacı olan fakir Yahudilere gönderdi. 1900'de 160 olan üye sayısı 1907-1908'de 500'e yükseldi, öğrenci sayısı 250'ye çıktı ve yıllık geliri 25.000$'ı (bugünkü değeri 620.000$) buldu. 1908'de maddi açıdan sorun yaşayan cemiyet Tora tomarlarını açık arttırımla satışa sundu.

Tanınmış üyeler arasında George Burns ve 1906'da burada Bar Mitsva'sını yapan Bükreş doğumlu Edward G. Robinson bulunur.

1911'de Birince Rumen-Amerikan cemiyeti, kuruluşunun onuncu yılını kutladı. Konuşmacılar, America Birleşik Sinagogu başkanı Solomon Schechter, kongre üyesi Henry M. Goldfogle ve ana konuşmacı sonradan New York'un valisi olacak olan William Jay Gaynor'dı.

Üye sayısı 1919'da 350 aileye ulaştı. Kapısı her gün açık olan cemiyetin okulunda 4 öğretmen ve 300 öğrenci bulunmaktaydı. Amerikan Yahudi Yıllığında sinagogun hahamı, tanınmış hazan Abraham Frachtenberg olarak geçmekteydi.

Sinagogun ibadet edilen kısmında tavan yüksekti ve "opera salonu" özellikleri taşıyordu, akustiğinin "üstün" ve "muazzam" olduğu söylenmekteydi. "Cantor's Carnegie Hall" olarak bilinen Birinci Rumen-Amerikan cemiyeti ilahi müziğin merkezi haline geldi ve 20. yüzyılda birçok tanınmış kantora ev sahipliği yaptı. Yossele Rosenblatt, Moshe Koussevitzky, Zavel Kwartin ve Moishe Oysher ile sonradan ünlü opera sanatçısı olacak olan Jan Peerce ve Richard Tucker burada ilahiler söyledi. İlahi müziğin itibar kazanması sinagogun mali durumuna yardım etti; cemiyetin gelir kaynağı Yüksek Bayramlarda satılan koltuk biletleriydi, kantor ne kadar iyiyse katılım o kadar yüksekti.

Red Buttons, Rosenblatt ile birlikte 1927'de ilahi okudu, 70 yıl sonra sinagogu tekrar ziyaret ettiğinde ilahileri hala hatırlıyordu. Her ne kadar Buttons'ın ailesi başka bir sinagoga gittiyse de, sekiz yaşında Rosenblatt Coopermans Korosu tarafından keşfedildi ve Buttons üç yıl süreyle koroda yer aldı. Her ne kadar bunun olasılığı düşük olsa da Eddie Cantor'un koroda yer aldığı iddia edilmektedir.

"İlahi müziği popüler hale getiren" Oysher 1935'te sinagogun kantoru oldu ve cemiyetin üye sayısı binlerce kişiyle 1940'larda doruğa ulaştı. 1956'da "The New Yorker" dergisi için Brendan Gill'in hazırladığı ropörtajda Oysher sinagog için "şehrin en ortodoks Ortodoks sinagogu" demiştir. Bundan iki yıl sonra 51 yaşında Oysher kalp kirizi sebebiyle vefat etti. Hayatının son haftasında şakayla karışık, öldüğünde kasidesinin Birinci Rumen-Ortodoks cemiyeti hahamı Chaim Porille tarafından okunmasını istedi. Porille, 1899'da zamanında Polonya'ya bağlı olan Uscieczko'da dünyaya geldi ve 1927'de ABD'ye taşınıp Providence, Rhode Island'da bulunan Birleşik İbrani Cemiyeti'nde hahamlık yaptı. Birinci Rumen-Amerikan cemiyetinde 1932'de haham oldu ve 1962'ye kadar görevini sürdürdü. Birleşik Ortodoks Hahamlar (Agudat Harabonim)'da yönetim üyesiydi. Eylül 1968'de vefat etti.

Rivington Street'teki bina, Birinci Rumen-Amerikan cemiyeti tarafından satın alınışının ardından bazı yapısal değişikliklere uğradı:

1990'larda, turuncu-kırmızı tuğlalı ön cephede tuğladan kemer ile taştan revak bulunmaktaydı ve kapısı gömüktü. Kemer, bizans stilli üç oymalı, iki burmalı ve bir iç içe açılı sütunlarla desteklenmekteydi ve üstte duvar tepeliği bulunmaktaydı. Revak kemerde büyük harflerle "First Roumanian-American Congregation" (Birinci Rumen-Amerikan Cemiyeti) yazmaktaydı.

Önceleri zemin katında revakın iki yanında iki pencerelik açıklık bulunmasına rağman bu bölümler 1990'larda tuğlalarla örüldü. İkinci ve üçüncü kattaki camlar eskiden puslu olmasına rağmen sonraları şeffaf renkle değiştirildiler; ikinci kattaki pencereler sekiz kare camdan ve üçüncü kat pencereleri üstü kemerli altı camdan oluşmaktaydı. İkinci ve üçüncü katlar, süslemeli pişmiş lüleci çamuruyla ayrılmaktaydı.

Binanın içinde iki katlı balkon, ana ibadet holü, yemek odası ve bodrum katından mutfak ve tuvaletler bulunmaktaydı. Isıtma sistemi yerin altındaydı. Ön kemer ve ahşap bima süslemeliydi; kızıl kadife perdeli kemer gösterişli bir şekilde dekore edilmişti ve büyük bir tunç şamdan taşımaktaydı. İbadethanenin zemini ahşaptı.

Sinagog binası, Oysher ve Joey Adams'ın oynadığı 1956 yılına ait film olan "Singing in the Dark"ta yer aldı. Beastie Boys'un 1989 yılına ait "Paul's Boutique" albümünde gösterilen panorama resimde sinagogun girişi görülmektedir. Ayrıca bina Jacob Spiegel ile birlikte Raphael Nadjari'nin 2001 yılındaki filmi olan "I Am Josh Polonski's Brother"da yer alır.

Zaman içinde cemiyet, Romanya asıllı Amerikalı Yahudilerin dışındaki Yahudileri de barındırmaya başladı. Yine de, Yahudi nüfusunun Lower East Side'dan kuzeydeki Manhattan, Brooklyn ve Bronx gibi muhitlere taşınmasıyla cemiyetteki üye sayısı 20. yüzyılın ikinci yarısında düşüşe geçti. Birinci Rumen-Amerikan cemiyetinin etkilenmesinin sebebi, ortodoksluğun gereği Şabat'ta arabaya binilmediğinden sinagog ile evlerin artık yürüme mesafesinde olmamasıydı.

1980'de Birinci Rumen-Amerikan cemiyeti, Lower East Side'daki az sayıdaki Talmud Tora'dan biriydi. Bu okul, ana binanın doğusunda olan ve eski kilisedeki papazın konutu olan binada yer almaktaydı. Cemiyet en nihayetinde binayı satmak zorunda kaldıysa da, binanın yeni sahipleri okulun oyma tabelasını muhafaza etti.

Rabbi Mordecai Mayer, cemiyetin 20 yıl süreyle liderliğini yürüttükten sonra, 66. doğumgününden iki gün önce 1981'de vefat etti. Zamanında Polonya'da bulunan Chortkiv'de doğan haham, Hahmey Lublin Yeşivası'ndan mezun oldu ve 1936'da ABD'ye taşındı. WEVD isimli radyo kanalında 40 yıl boyunca Yahudilikle ilgili konuları işleyen programlar düzenledi. 1970'lerde, haftalık Yidiş gazetesi olan "Algemeiner Journal"da köşe yazarlığı yaptı ve İngilizce "Israel's Wisdom in Modern Life" (1949) ve "Seeing Through Believing" (1973) kitaplarını yazdı. Ardılı olarak başa Jacob Spiegel geçti.

1990'ların başında cemiyet hala haftaiçind