После возвращения во Францию, 15 апреля 1802 года получил звание командира эскадрона, и продолжил службу в Консульской гвардии. 6 ноября 1803 года Кольбер был назначен адъютантом к генералу Жюно, а затем 21 сентября 1805 года к маршалу Бертье. В этой должности отличился в Ульмской кампании, а в сражении при Аустерлице был ранен пулей в бедро. 1 марта 1806 года возглавил эскадрон 15-го конно-егерского полка, дислоцированного в Италии. 30 декабря он был произведён в полковники 7-го гусарского полка. Сражался в составе бригады Латур-Мобура, затем Пажоля. Отличился при Эйлау, Гейльсберге. При Тильзите 17 июня был трижды ранен казачьей пикой.