Crystal Palace ligger på et sted hvor det historisk har gått grenser mellom sogn og distrikter. Det ligger nå kun i Bromley, men støter mot grensene til Croydon, Lambeth, Southwark og Lewisham, samt at det er delt på tre postkoder, SE19, SE 20 og SE26. Den gamle grensen mellom Surrey og Kent gikk gjennom området, og mellom 1889 og 1965 lå Crystal Palace på grensen til grevskapet London. Det tilhørte Kent og Surrey frem til 1889, og deretter både Kent, London og Surrey frem til 1965.