Trước khi người Pháp chiếm Gia Định, vùng Bến Nghé có khoảng 40 làng với dân số lên đến 50.000 người. Khi thành Gia Định thất thủ vào năm 1859, hầu hết phố thị bị tàn phá, dân cư đều di tản, chỉ còn lại khu Chợ Quán. Sự kiện này được Nguyễn Đình Chiểu nhắc đến trong bài thơ Chạy giặc: