Bexley utviklet seg rundt møller langs elven Cray, hvor det går bro over ved High Street. Dets angelsaksiske navn, Byxlea, er teoretisert til å hatt betydningen en bosetning i rydning i en skog av buksbomtrær, skjønt det er lingvistisk uenighet hvor motargumentet er at det er usannsynlig at det var buksbomtrær i dette terrenget.