Alors que la famille royale, comme le roi Jean, avait un pavillon de chasse à Bromley-by-Bow, ou que l'évêque de Londres possédait un palais à Bethnal Green, ces propriétés furent plus tard morcelées au bénéfice de belles demeures construites par des capitaines, des marchands ou des manufacturiers. Samuel Pepys emménagea à Bethnal Green avec sa famille et ses biens durant le Grand incendie de Londres, et le capitaine Cook déménagea de Shadwell à Stepney Green, un endroit où une école et des salles de réunion avaient été construites. La vieille ville de Mile End avait aussi de belles bâtisses, et la nouvelle ville commença à sortir de terre. Comme la zone commençait à s'urbaniser et à devenir plus peuplée, les gens aisés vendirent leur terrain en lotissements, et allèrent s'installer plus loin. Aux , il y eut encore des tentatives de construction de belles maisons, comme Tredegar Square en 1830, et les champs autour de la ville nouvelle de Mile End virent en 1820 l'édification de petites maisons pour les ouvriers.