"Quốc Ân Khải Tường tự" vì ở sát thành Gia Định, nên bị quân Pháp chiếm làm đồn lũy. Đại úy Thủy quân lục chiến Pháp Nicolas Barbé nhận nhiệm vụ dẫn quân vào chiếm giữ. Barbé đem tượng Phật bỏ ngoài sân, cưỡng bức các sư phải rời chùa. Từ đó, chùa Khải Tường còn có tên là chùa Barbé (có tài liệu dùng chữ "Barbet") hay đồn Barbé (theo tên của Đại úy trưởng đồn). Đêm 07/12/1860, nghĩa quân Trương Định ở Gò Công kéo lên Gia Định phục kích và giết chết Barbé ở bên ngoài đồn.