康熙二十二年（1683年）三月八日，康熙帝自闻奏刑部尚书魏象枢的建议、和北京部分人士以言语谣传除掉索额图和明珠天下始太平无灾殃之建议后，康熙帝谕议政王大臣等：「索额图巨富通国莫及，朕以索额图骄纵，时加戒饬，并不悛改。在朝诸大臣无不惶遽惧怕之者」。经议政王大臣议奏，索额图被革去议政大臣、太子太傅、内大臣职务后，康熙帝命仍留任佐领。康熙二十五年（1686年）八月二十三日，授领侍卫内大臣。康熙二十五年（1686年）十月二十一日，康熙帝谕大学士等曰：「镇国公哈尔萨为人鑚营有玷公爵，应将此公爵令伊兄六格袭替