Før , den store omleggingen av landbruket i tudortiden var området stort sett uten bebyggelse, og frem til Krystallpalasset ble flyttet til Sydenham Hill var Anerley fortsatt uten fastboende, og tilhørte Penge Common. Penge var en del av Croydon i Surrey frem til 1899, da området ble et eget distrikt. I 1965 ble dette distriktet, inkludert Anerley, innlemmet i Bromley og dermed i Stor-London.