Det eldste huset i Brockley er Stone House på Lewisham Way, vis-à-vis Lewisham College. Det ble reist i 1773 av arkitekten George Gibson den yngre. Området var jordbruksland inntil det 19. århundre, og det best kjente etablissementet der var vertshuset Brockley Jack, som var beryktet for å være et tilholdssted for landeveisrøvere. Markedshagene i området var kjent for rabarbra av sorten «Victoria». Det var også frukthager, og noen eldgamle pæretrær har overlevd fra disse. En bekk rant gjennom området nordover fra Brockley Cross, og rant inn i Themsen via Deptford Creek.