Idea wzniesienia mauzoleum, w którym czczono by pamięć i chowano poległych i zmarłych żydowskich powstańców kościuszkowskich, żołnierzy napoleońskich, powstańców listopadowych, powstańców styczniowych, żołnierzy I wojny światowej i żołnierzy Wojska Polskiego walczących w wojnach z Rosją Sowiecką i innymi państwami po zakończeniu Wielkiej Wojny narodził się w 1938 we władzach warszawskiej gminy żydowskiej. Jako bezpośredniego pomysłodawcę wskazuje się Maurycego Mayzla, będącego wówczas przewodniczącym gminy żydowskiej. W pierwotnym zamyśle planowanego mauzoleum, którego autorstwo jest nieznane, w wyjątkowy sposób planowano uczcić pamięć Berka Joselewicza i Henryka Wohla. Ostatecznie komisja powołana przez przewodniczącego Mayzla wyłoniła Marcina Weinfelda jako projektanta mauzoleum. Przedstawił on projekt różniący się od wcześniejszych pomysłów, który jednak zyskał aprobatę władz gminy. Budowa rozpoczęła się w 1939. W celu wzniesienia mauzoleum usunięto nagrobki w najstarszej części cmentarza i złożono je na pryzmę, zaś w ich miejscu utworzono nasyp ziemny. Następnie rozpoczęto wznoszenie betonowo-ceglanej konstrukcji. Wybuch II wojny światowej przerwał prace, a po zakończeniu wojny do nich nie powrócono. W latach 90. XX wieku poustawiano pionowo ocalałe nagrobki pochodzące z początku XIX wieku i częstokroć bogato rzeźbione, w tym Natana Glücksberga. Na terenie zajętym przez nieukończoną konstrukcję nie odbywały się pochówki.