V roce 1801 byl jmenován "riksmarskalkem", polním maršálem, Švédska a v roce 1805 potom rádcem krále Gustava IV. během války třetí koalice s Francií. Při svržení krále v roce 1809 nehrál žádnou roli. Podpoříl však kandidaturu králova syna proti populárnějšímu Kristiánovi Augustovi Augustenburgskému. Ten však po volbě za nového Švédského krále náhle zemřel a Axelovi von Fersen byl veřejností přičítán podíl na Kristiánově smrti. V průběhu Kristiánova pohřebního průvodu ve Stockholmu byl Axel von Fersen napaden a davem lynčován. Na následky těžkých zranění krátce na to zemřel. Při úředním vyšetřování, které vyvolala Fernsenova rodina, bylo zjištěno, že Axel von Fersen nenesl na smrti Kristiána Augustenburgského žádný podíl. Axel von Fersen byl potom pohřben se všemi poctami.