Det var i utgangspunktet bare gitt en midlertidig tillatelse til å bygge minnesmerket som «kunstaksjon», og både tillatelsen så vel som leiekontrakten for området løp ut i 2005. Murmuseets leder Alexandra Hildebrandt nektet å fjerne minnesmerket, og eieren av grunnen, Bankaktiengesellschaft Hamm, gikk derfor rettens vei. Den omstridte rivningen ble fullført 5. juli 2005 til sterke protester fra SED-ofre og protester fra utlandet. I forbindelse med rivningen lenket demonstranter seg fast til minnesmerket og måtte fjernes av politiet.