Năm 1950, trong cuộc Cải cách ruộng đất ở Trung Quốc, gia đình ông bị quy thành phần địa chủ, cha ông bị đấu tố, từ đó ông mất liên lạc với gia đình. Trong lúc này, vợ ông không chịu nổi cuộc sống ở Hồng Kông, trở về gia đình bên mẹ, không chịu về nhà chồng nữa. Năm 1951 họ quyết định ly hôn.