母亲年老为由辞官，不再出仕。干隆二十六年（1761年），卒于乡里，享年八十岁。
家族.妻子陆氏，康熙二十四年（1685年）状元陆肯堂的女儿。子缪敦仁，字羲元，干隆己未科进士，选庶吉士；缪遵义，字方彦，干隆二年进士，官知县；弟缪曰芑，字武子，雍正元年进士，选庶吉士，散馆授编修。