Sin embargo, sus desavenencias con el cónsul Bonaparte son cada vez más acuciantes y llegan a su clímax tras la proclamación del Imperio en 1804, ya que Napoleón le niega el ascenso a mariscal que sí concede a otros militares, como Berthier y Murat.