1805 bis 1807 nahm Rouyer an den Feldzügen in Österreich, in Preußen und Polen teil. Er kommandierte die 1. Brigade der 1. Infanteriedivision im 6. Korps der Grande Armée. Am 30. August 1805 konnte er sich in Schlacht bei Haslach-Jungingen, ebenso in der Schlacht bei Austerlitz am 2. Dezember, wo er sich den Rang eines Général de division verdiente, zu dem er am 24. Dezember 1805 befördert wurde. Am 15. März 1808 wurde er zum Baron des Empire ernannt. Am 25. März 1808 stieß Rouyer zum 2. Observationskorps der Gironde und übernahm am 4. Mai das Kommando über eine Division aus Schweizer und spanischen Regimentern. Am 22. Juli 1808 geriet er nach dem Schlacht bei Bailén in Kriegsgefangenschaft, nachdem er sich geweigert hatte, zu kapitulieren. Am 21. September nach Frankreich zurückgekehrt, wurde er am 9. Oktober 1808 beurlaubt.