解送织物上京师，勒索财物，被山东巡抚弹劾，雍正批示「本来就不是个东西！」雍正六年（1728年）元宵节前遭到抄家，曹頫以「行为不端」、「骚扰驿站」和「亏空」罪名革职，下狱治罪，「枷号」一年有余，催交亏欠，所有家产奴仆都赏给新任江宁织造隋赫德，新织造将京师顺天府房产17间和三对家仆赠与曹寅之妻以供生活，即今崇文门外蒜市口曹雪芹故居。曹雪芹随着全家迁回京师居住。曹家从此一蹶不振，日渐衰微。雍正十三年（1735年）干隆帝即位后宽免其欠银，但曹家已然没落。
生平.在被抄家以后，曹雪芹随家