La Perla ha sido un barrio infame desde sus inicios. En el siglo XIX era el emplazamiento de un matadero y el hogar de personas -esclavos, indigentes y sirvientes no blancos- que debían vivir fuera de las murallas de la ciudad. Las viviendas de La Perla fueron de las primeras construidas en el frente marítimo.