A su regreso Napoleón le asciende a comandante de París y contrae matrimonio con Laura Permon. Sin embargo, sus desavenencias con el cónsul Bonaparte son cada vez más acuciantes y llegan a su clímax tras la proclamación del Imperio en 1804, ya que Napoleón le niega el ascenso a mariscal que sí concede a otros militares, como Berthier y Murat. Tras un enfrentamiento, Napoleón le destituye y le envía a Arras a reclutar e instruir un nuevo cuerpo de granaderos. Después es nombrado embajador en Portugal, pero cuando estalla la guerra contra la Tercera Coalición (1805) es llamado a filas y participa activamente en la batalla de Austerlitz (2 de diciembre de 1805). Su reconciliación con el emperador es total y vuelven juntos a París.