Anlegget av Surrey Docks litt lengre ned langs elva satte i gang en industrialisering og en tilflytting av fattige arbeidere til Bermondsey, og i løpet av 1800-tallet utvikla området seg til den rene slum. Strøket rundt St Saviour's Dock – kjent som Jacob's Island – var av de verste i London.