Med Riksantikvaren som pådriver ble det folkekjære bygget jevnet med jorden i 1970. Rivningen ble begrunnet med bygningens nærhet til Akershus festning. Den ble ansett som forstyrrende for et av nasjonens fremste minnesmerker. Det var ingen presserende byggebehov som skulle tilfredsstilles på tomten. Rivningsplanene utløste en opphetet debatt mellom Riksantikvaren og forkjempere for et mer moderne kulturminnevern, med arkitekter og kunsthistorikere i spissen. På dette tidspunkt var interessen for funksjonalismen økende, og Skansen ble av mange med rette betraktet som et pionerverk i moderne norsk og nordisk arkitektur og et hovedverk av Backer, en av periodens fremste arkitekter. Lars Backer døde tidlig, men rakk å etterlate seg to andre monumentalbygg som vil bli stående som vesentlige bidrag til den tidlige fuksjonalismen, Ekebergrestauranten (1927–1929) og Horngården (1929–1930).