Mile End ble bymessig bebygd fra slutten av 1700-tallet og utover, primært med boliger for arbeidere ved jernbanen og dokkene, og ved bryggeriene og verkstedene i området. Mye av den gamle bebyggelsen ble ødelagt av tyske bomber under andre verdenskrig, og 13. juni 1944 slo den første V1-raketten som Luftwaffe skjøt mot London ned i Mile End. Hendelsen er markert med en minneplakett.