Synagogen ble oppført av Den israelittiske menighet, som i 1918 hadde brutt ut av Det Mosaiske Trossamfunn. Samme år kjøpte menigheten en fire-etasjers bygård i Calmeyers gate, og 17. august 1920 startet byggingen av synagogen med Erik Fjeld som arkitekt. Den ble oppført med et hovedrom med plass til 200 menn, og et galleri med plass til 100 kvinner, og innviet i 1921. Interiøret var inspirert av den store synagogen i Frankfurt am Main, og inngangspartiet var dekorert av Lars Fjeld. Odd Hølås i beskrev synagogen som «overordentlig vakker».