成为北京百姓的话柄。康熙二十二年（1683年）二月四日，「大计天下各官：贪酷一百四员、不谨五十三员、罢软四十五员、才力不及八十九员、浮躁四十三员，处分如例。又从逆官二百四十员，亦照不谨例，革职」。康熙二十二年（1683年）三月八日，康熙帝自闻奏刑部尚书魏象枢的建议、和北京部分人士以言语谣传除掉索额图和明珠天下始太平无灾殃之建议后，康熙帝谕议政王大臣等：「索额图巨富通国莫及，朕以索额图骄纵，时加戒饬，并不悛改。在朝诸大臣无不惶遽惧怕之者」。经议政王大臣议奏，索额图被革去议政大臣、太子太傅、内大臣职务后