Według tradycji w II połowie XVI w. na miejscu dzisiejszej świątyni znajdowała się już drewniana cerkiew św. Filipa Apostoła, której fundatorem był najprawdopodobniej metropolita moskiewski i całej Rusi Filip II. Murowany obiekt sakralny na jej miejscu pod tym samym wezwaniem wzniósł w 1688 bojar Iwan Kośmin, zaś gotowy obiekt poświęcił patriarcha moskiewski i całej Rusi Joachim. Kolejne informacje o budowli pochodzą z XIX w. W czasie francuskiej inwazji na Rosję, podobnie jak wiele innych moskiewskich świątyń, budynek został sprofanowany i zdewastowany przez francuskich żołnierzy. Z powodu małej liczby parafian uczęszczających do świątyni Świątobliwy Synod Rządzący sugerował w 1818 rozbiórkę zniszczonej cerkwi. Do realizacji tych planów nie doszło, ponieważ patriarcha Jerozolimy Polikarp uzyskał zgodę na utworzenie w Moskwie placówki swojego Kościoła, w której mogliby zatrzymywać się mnisi przybywający do Rosji w celu zbiórki funduszy na utrzymanie i remonty Bazyliki Zmartwychwstania Pańskiego. Placówkę tę umieszczono właśnie przy cerkwi na Arbacie.