康熙帝驾崩后，雍正帝即位。受政治斗争牵连，曹家逐渐失宠没落，几次由金陵贡入的织物不合格，受到雍正训斥。后来监察御史汇报朝廷，曹頫任由管家监工，自己不理政事，并且亏空银两。最终因其解送织物上京师，勒索财物，被山东巡抚弹劾，雍正批示「本来就不是个东西！」雍正六年（1728年）元宵节前遭到抄家，曹頫以「行为不端」、「骚扰驿站」和「亏空」罪名革职，下狱治罪，「枷号」一年有余，催交亏欠，所有家产奴仆都赏给新任江宁织造隋赫德，新织造将京师顺天府房产17间和三对家仆赠与曹寅之妻以供生活，即今崇文门外蒜市口曹雪芹故居。