Al querer hacer olvidar su pasado bonapartista, se convierte uno de los más fervientes y radicales animadores del partido de los Ultras: Victor Hugo en "Los Miserables" le ataca por haber quitado, al ser nombrado Ministro del Interior, las "N" de los puentes de París como el de Jena.