De har blivit två av de mest kända egendomarna i landet, efter att ha framträtt som bakgrund för filmer som Harry Brown och många TV-program inklusive The Bill och Spooks.
Det är den rena storleken på egendomarna som är en dragning till direktörerna.  Med långa linjer, korridorer och gångvägar kan de vara en filmskapares dröm.
Men som ett resultat av klagomål har Southwark Council tillämpat strikta riktlinjer för alla som vill filma på Aylesbury eller Heygates bostäder.
– Jag vill inte se någon filmning på Aylesbury som skildrar våld och allt som inte är rätt för godset, säger Jean Bartlett, som talar för Aylesburys invånare och hyresgäster.
På iPlayer
När hon talar med BBC Radio 4s Front Row medger hon att lokalbefolkningen tidigare har välkomnat stjärnor och filmteam.
"Vi gjorde alla (välkomnar dem) först eftersom det kom finansiering från filmbolagen.
"Jag tror att det med tiden var samma ämnen som användes... våld, droger och nedslitna områden, som sedan beskrev egendomen som ett helveteshål."
I 2009 års film, Harry Brown, med Sir Michael Caine i huvudrollen, avbildades en äldre man som levde i rädsla för våldsamma gäng. Andra skitiga TV-program som filmats på egendomarna har också inkluderat gängdrama Top Boy.
Jean är också missnöjd med hur platsen har använts i Channel 4 reklam trailer.
"Varje gång jag ser logotypen gör det mig crange.  De tvättar sig i områden som inte ens har tvätt.
"De lägger massor av skräp över hela området. Det är helt hemskt."
1997 valde den dåvarande premiärministern Tony Blair Aylesbury Estate att hålla sitt första stora tal utanför parlamentet. Vid den tiden symboliserade godset problemen med försakelse och förtvivlan i städerna.
Tony Blair presenterade sin vision om att återskapa Storbritanniens inre städer och betonade sin regerings beslutsamhet att ta itu med frågorna och förklarade att det inte får finnas några "hoppfria områden".
Brittisk rappare, Tinie Tempah, växte upp på Aylesbury Estate och hans minnen av att leva där stämmer överens med några av de mörkare sidorna av filmer som filmats där.
"Jag minns att jag växte upp och såg grå, mycket smala gångvägar som är lite konfliktbenägna.
"Du kan bara gå förbi samma person så många gånger utan att någon säger "Vem är du?" eller "Vad handlar det här om?"
"Det fanns mycket smutsiga hissar där folk skulle urinera. Dessa höghus, när du vaknar på morgonen, de inspirerar dig inte - du känner inte behovet av att vilja komma ut därifrån. "
Unikt minne
Trots att miljoner pund spenderas på förnyelse under årens lopp håller Aylesbury Estate, tillsammans med grannlandet Heygate Estate, på att rivas och byggas om.
Dessa två projekt kommer att kosta 3,9 miljarder pund och omfattar byggandet av hundratals nya bostäder, butiker och öppna utrymmen och återuppbyggnad av flera skolor.
Men filmregissören Joe Cornish, som gjorde science fictionen hit Attack The Block on the Heygate Estate, säger att han valde området eftersom det har en futuristisk dragningskraft.
"Jag kom hit först och främst för att det är enormt, omedelbart bekant som en del av brittiska offentliga bostäder och det är övergivet.
"Den här arkitekturen påminde mig om sci-fi-filmer på 60- och 70-talet som Clockwork Orange eller Logans Run.
"Du kan gå tillbaka även till filmen Metropolis där arkitektur som denna sågs som något futuristiskt och suggestivt. Jag antar att det var mer betraktat som en utopi som det var när det först byggdes."
Joe Cornish hoppas att hans film kommer att ge ett unikt minne av egendomen.
"När det här stället har rivits skulle det ha blivit odödligt i en handfull filmer.
"Jag antar att det skulle ha porträtterats på ett mycket speciellt sätt men förhoppningsvis Attack the Block skildrar det med lite eskapism, fantasi, färg och uppslag jämfört med det eländiga sätt det har porträtterats i några andra filmer."
Southwark Council, som driver egendomarna, säger att beslutet att blockera majoriteten av filmförfrågningar är en återspegling av hyresgästernas åsikter.
– Det kom ett mycket tydligt budskap från invånarna att de hade fått nog av det, säger Fiona Colley. "De var trötta på att se sin egendom porträtteras som smutsig, dyster och farlig och det var tvungen att sluta.
"Vi kommer då och då att göra ett tillägg. Vi har nyligen gjort ett undantag för World War Z på Heygate Estate.
"Snarare än att porträttera Heygate, det porträtterade projekt i Philadelphia och det var inte lokala barn orsakar förödelse, det var zombies.
"Men i motsats till, Harry Brown använde samma plats och du har lokala barn upplopp ner samma bit av samma egendom och folk tror att det är så det är."
Aylesbury bor Jean Bartlett säger att filmskapare inte kommer att vara välkomna om inte "någon kommer med en anständig historia som inte porträtterar oss som "helvetets väntrum" med en negativ bild."
Tänk om Brad Pitt dyker upp?
"Nej, inte ens om Brad Pitt dyker upp. Nej, det gör jag inte.
Många människor skulle tycka om att öppna sin ytterdörr för att se en Hollywoodstjärna göra sin nya film, men invånare som bor i Aylesbury och Heygate bostäder i södra London har fått nog av filmskapare.