Særlig den nordlige delen av området ble utover på 1800-tallet utbygd av hensynsløse eiendomsspekulanter som satte opp dårlige hus og fylte dem opp med fattige leieboere; for en stor del irske innvandrere. Lisson Green fikk etter hvert et rykte som et strøk hjemsøkt av sykdommer og kriminalitet. Da det i 1885 ble kjent at den 13 år gamle Eliza Armstrong i Charles Street var blitt solgt til et bordell for £5, vakte det bestyrtelse i opinionen, og både myndigheter og filantroper begynte å gi oppmerksomhet for Lisson Grove.