Cmentarz powstał w czasie powstania listopadowego. Pierwotnie na jego terenie znajdowały się mogiły rosyjskich kirasjerów, którzy polegli w bitwie o Olszynkę Grochowską. Następnie do drugiej połowy XIX wieku pochówki na tej nekropolii nie odbywały się. Dopiero w latach 80. XIX wieku cmentarz stał się miejscem pochówków rosyjskich rodzin kupieckich osiadłych w Warszawie, które należały do wspólnot religijnych staroobrzędowców.