Khi ông Trạch mất tại Sài Gòn năm 1942, tài sản được chia cho các con trai của ông, nhưng những ông này không có tài làm ăn như cha mà chỉ quen tiêu pha nên gia sản cứ hao hụt dần. Trong thập niên 1960, hai cuộc cải cách điền địa của Việt Nam Cộng Hòa với chủ trương thu đất của đại địa chủ cũng khiến hầu hết ruộng đất của gia đình này bị mất đi. Không còn hoa lợi từ ruộng đất, không biết chuyển hướng kinh doanh sang các lĩnh vực khác như công nghiệp - dịch vụ, lại quen tiêu xài phung phí nên gia sản của Ba Huy hao hụt nhanh chóng.