Chỉ khi đến cuộc khủng hoảng kinh tế thế giới thập niên 1920, hiệu buôn mới gặp nhiều trở ngại. Tuy nhiên, Quách Đàm vẫn là một trong những người giàu nhất Đông Dương thời bấy giờ.