芹的太高祖曹锡远、高祖曹振彦等被后金军俘虏，后来编隶佐领于正白旗包衣之中，成为了贝勒多尔衮的门人。曹振彦颇受多尔衮赏识，授为佐领之职，曾参与平定姜镶起义。入关后，改任文官，历任山西吉州知州、大同府知府、两浙都转运盐使等官职。顺治八年（1651年），顺治帝将多尔衮的正白旗收为己管，曹家成为内务府包衣，负责打理宫廷杂务。这时曹雪芹的曾祖父曹玺，也由王府护卫升任为内廷二等侍卫。曹玺之妻孙氏是康熙帝的奶妈，因此受到康熙的特别照顾与宠信。康熙二年（1663年），曹玺任命为江宁织造，负责主管采办皇室江南地区的丝绸，