Năm 1931, người chị thứ ba của ông tên Tuyết Hồng đã tự vẫn tại hồ Trúc Bạch vì hờn giận tình duyên. Mấy tháng sau cha ông cũng qua đời khi chưa đến tuổi 50. Ba năm sau, người chị lớn nhất của ông cũng chết trẻ.