Poté začala demolice částí stavby dle původních plánů a práce rychle pokračovaly až do roku 1811, kdy byly z nedostatku peněz zastaveny. Po ruském tažení v roce 1812 Napoleon opustil myšlenku na oslavný chrám a vrátil se k původnímu jednoduchému kostelu.