Den dårlige tilstanden som mange siheyuan i dag befinner seg i, vanskeligheten med å bestemme hva som er opprinnelige siheyuan og hva som er påbygginger fra 1950- og 1960-tallet, samt det faktum at mange siheyuan ligger på attraktive områder i det sentrale Beijing, har ført til omfattende rivinger av denne typen tradisjonell kinesisk arkitektur. Byen Beijings arbeide med å forberede Sommer-OL 2008 har ytterligere intensitet rivningsarbeidet. Rivningsarbeidet har vært såpass omfattende at UNESCO, FNs organisasjon for utdannelse, vitenskap og kultur, har kritisert Beijing og truet med å stryke Den forbudte by (tidligere keiserlig palass i det sentrale Beijing) fra FNs verdensarvsliste.