Fra og med rundt 1300-tallet begynte lokalbefolkningen å rive ned steinsirklene for den ene eller den andre årsak; for å rydde land, for skaffe stein til byggverk, eller rett og slett for å ødelegge et hedensk monument. I 1648 besøkte John Aubrey, naturfilosof og oldtidsgransker, stedet og fant de fleste av steinene fortsatt stående eller liggende i nærheten. På 1700-tallet besøkte oldtidsgranskeren William Stukeley stedet og oppdaget at det var gjort ytterligere ødeleggelser på steinene. På 1930-tallet forsøkte arkeologen Alexander Keiller reise mange av de steinene som var blitt veltet og delvis restaurerte sirkelen til sin opprinnelige opplegg. I 1943 tok myndighetene direkte besittelse av monumentet og landsbyen. Det er nå administrert av National Trust. I 1986 la UNESCO Avebury-steinene sammen med Stonehenge, Silbury Hill, og andre lokale steder til Verdensarven.