继一个儿子曹頫[音同“府”]（曹寅的堂弟曹荃之子）继承江宁织造职务，康熙仍然对待曹家亏空，抱宽容态度。康熙六十一年（1722年）康熙帝驾崩后，雍正帝即位。受政治斗争牵连，曹家逐渐失宠没落，几次由金陵贡入的织物不合格，受到雍正训斥。后来监察御史汇报朝廷，曹頫任由管家监工，自己不理政事，并且亏空银两。最终因其解送织物上京师，勒索财物，被山东巡抚弹劾，雍正批示「本来就不是个东西！」雍正六年（1728年）元宵节前遭到抄家，曹頫以「行为不端」、「骚扰驿站」和「亏空」罪名革职，下狱治罪，「枷号」一年有余，催交亏