Rett før utbruddet av Napoleons angrep på Russland fikk tsaren ideen om å gjøre Speranskij til syndebukk, for å øke sin egen popularitet. Ved en slik manøver vant også tsaren sympati fra den konservative delen av befolkningen, de var ansett som regimets sterkeste støttespillere ved en invasjon fra det revolusjonære Frankrike. Speranskijs egne feil gav det endelige støtet, han var omgitt av spioner som rapporterte til tsaren om hans kritikk av keiserens handlinger, blant dem at han rådet Aleksander I til å ikke ta kommando over styrkene under det forventede angrep fra Napoleon.