Đến ngày 17/11/1874 thì có Quyết định bãi bỏ việc xây trường Sư phạm thuộc địa và tiến hành xây dựng một trường trung học với tên gọi trường Trung học thực dân (École Normale) (sau này trở thành Trường Chasseloup - Laubat).Theo bản đồ, vị trí chùa Barbet nằm trên lô 1(số 93 đường Richaud (đường Phan Đình Phùng), trước đây gọi là đường số 27, và sau đó là đường Des Mois (đường Mọi)) và các lô số 8 và 9 (số 26 đường Testard (Trần Quý Cáp)). Lô số 1 đã được khách sạn La Chartered Bank sử dụng, và lô 8 và 9 là biệt thự của bà Matieu ở góc đường Testard và đường Barbet. Pháo đài mà Quyết định ngày 10/9/1869 nhắc đến nằm ở lô 24 mà hiện nay là nhà của chủ tịch tối cao toà án, số 6 đường Barbet. (Đường Richaud hiện nay là đường Nguyễn Đình Chiểu, đường Testard là Võ Văn Tần, đường Barbet là Lê Quý Đôn). Sau đó, khu đất có chứa chùa Barbet được chuyển nhượng miễn phí cho Colombier, cựu chiến binh và là người làm vườn của Chính phủ, vào ngày 15/12/1877. Kể từ đó, mảnh đất này không còn được nhắc đến nữa. Nhưng pháo đài thì tiếp tục được sử dụng. Nó được dùng làm nơi ở cho Giám đốc trường Trung học Bản xứ (Collège Indigène - trường Lê Quý Đôn ngày nay).