Utover på 1800-tallet tiltrakk tekstilindustrien i Spitalfields seg skarer av jødiske flyktninger, og også irske vevere bosatte seg her. På denne tida hadde de flamske mestervevernes og silkehandlernes kvarterer forfalt til en forvirrende blanding av slum og småindustri, og Spitalfields ble etter hvert et synonym for fattigslige og forfalne storbyområder. På slutten av 1800-tallet var fattigdommen i Spitalfields overveldende, og kriminalitet og prostitusjon blomstret. Det var i denne settingen seriemorderen Jack the Ripper begikk sine oppsiktsvekkende drap på prostituerte i 1888. Etter andre verdenskrig har mye av det jødiske innslaget i Spitalfields forsvunnet; i stedet har nye innvandrere fra Bangladesh overtatt tekstil- og konfeksjonsvirksomheten. De asiatiske innvandrerne har dessuten sørget for et stort antall indiske o.a. etniske restauranter, særlig i Brick Lane.