Broussier venne promosso generale di divisione nel 1805; nel 1809 venne insignito del titolo di Grande Ufficiale della Legion d'onore e di Conte dell'Impero. Lo stesso anno ritornò in Italia, in occasione della guerra contro la Quinta Coalizione, distinguendosi anche nella battaglia finale di Wagram. Partecipò alle campagne di Russia e alla successiva di Germania, prendendo parte alle battaglie di Ostrovno, della Moskova e di Maloyaroslavets.