Brittiläis-ranskalaisen laivaston Krimin sodan aikaisia sotatoimia Itämerellä kutsutaan Suomessa Oolannin sodaksi. Hangon linnoitus torjui laivaston hyökkäyksen, mutta sitä pidettiin sotilaallisesti vähämerkityksellisenä ja kalliina ylläpitää. Linnoitus räjäytettiin loppukesästä 1854 ja tuhoa täydensivät paikalliset asukkaat, joille oli annettu lupa kerätä rakennustarvikkeita omiin tarpeisiinsa. Sotaväestä jäi Hankoon jäljelle vain pieni vartio-osasto ja ortodoksisuudesta muistutti vain hautausmaa ja kirkon kivijalka. Ortodoksinen kirkollinen toiminta Hangossa oli lähes olematonta yli kolmekymmentä vuotta. Ainoastaan muistoristejä pystytettiin. Puinen muistoristi pystytettiin 1869 ja Riilahden meritaistelusta kertova graniittinen risti 1870. Vuonna 1879 perustetun kylpylän myötä Hanko alkoi vetää puoleensa venäläisiä virkamiehiä, upseereita ja seurapiiriväkeä. Näille kesäasukkaille alettiin järjestää jumalanpalveluksia aluksi yksityisasunnoissa ja vuosien myötä pysyvä rukouspaikka koettiin tarpeelliseksi. Uuden puukirkon eli nykyisen Hangon ortodoksisen kirkon perustuksiin käytettiin vanhan pyhän Panteleimonin kirkon perustuksista otettuja kiviä. Uusi kirkko vihittiin käyttöön 1895.