Cao stammer fra en han-kinesisk familie som var blitt assimilert i den mandsjuiske kultur. Cao Xueqins bestefar Cao Yin var en av Kangxi-keiserens rådgivere, noe som innebar stor velstand for familien. Lykken vendte seg først da Kangxis etterfølger Yongzheng-keiseren kom til makt. I forbindelse med politiske utrenskninger konfiskerte han i 1728 familien Caos eiendom og tvang dem til å forlate Beijing.