Nach weiteren Beförderungen kam Colbert-Chabanais zu Marschall Louis-Alexandre Berthier und kämpfte unter dessen Führung als Chef d’escadron im 9e régiment de hussards in der Schlacht bei Austerlitz (2. Dezember 1805). Dort wurde er erneut verwundet, konnte aber zurückkommen und an den Kämpfen bei Jena (14. Oktober 1806) und Pułtusk (26. Dezember 1806) teilnehmen.