К концу XVIII столетия укрепления обветшали, и в 1783 году граф Чернышёв, главнокомандующий Москвы, повелел уничтожить стены и часть башен, превратив тем самым Земляной вал в место прогулок для москвичей. В войну 1812 г. Земляной город значительной частью выгорел и при послевоенном переустройстве укрепления были уничтожены: вал срыт, а ров — засыпан (1816—1830 годы). Владельцев домов, стоявших вдоль образовавшейся улицы, обязали разводить сады на прирезанных от бывшего вала участках. Возникла Садовая улица.