前述の官僚昇進試験制度導入や、国会構想は、貴族、官僚を中心とする保守派の憤激を買っていた。スペランスキーは「成り上がり者」、「体制の破壊者」のレッテルを貼られ、フリーメイソン（ロシア語ではマソンストヴォ）との繋がりを指摘されるなど、誹謗中傷も後を絶たなかった。同じく理想主義者というよりも夢想家であった皇帝アレクサンドル1世は、スペランスキーを擁護するには余りにも偽善的な人物であった。結局、ナポレオン戦争を前にスペランスキーはスケープゴートとされ、1812年祖国戦争直前にスペランスキーを国家顧問から解任しニジニ・ノブゴロド、さらにペルミに追放してしまった。