Durante a presidência de Luís Napoleão, foi quatro vezes ministro das Finanças, e assumiu um papel de liderança nas reformas econômicas feitas na França. Sua forte tendência conservadora levou-o a se opor à doutrina do livre-comércio, e a apoiar o golpe de Estado e o novo império. Em 25 de janeiro de 1852, em consequência do decreto para confiscar os bens da família d'Orleães, renunciou ao cargo de ministro das Finanças, mas foi no mesmo dia nomeado senador, e logo depois voltou ao Governo como ministro de Estado e da família imperial. Nesta função, organizou a Exposição Universal de 1855, em Paris. Os acontecimentos de novembro de 1860 levaram-no, mais uma vez, à renúncia, mas foi convocado para o Ministério das Finanças em novembro do ano seguinte, e manteve o cargo até à publicação da carta imperial de 19 de janeiro de 1867, quando Émile Ollivier tornou-se o principal conselheiro do imperador. Durante seu último mandato reduziu a dívida flutuante, que a segunda intervenção francesa no México tinha aumentado consideravelmente, pela negociação de um empréstimo de 300 milhões de francos (1863).