Людовик XVIII назначил Кольбера командующим королевским корпусом улан, но, по возвращении Наполеона с острова Эльбы, Кольбер некоторое время оставался нейтральным, но всё-таки явился к Наполеону, который встретил его словами «Генерал Кольбер, я ожидал вас тремя днями раньше!». В сражении при Ватерлоо Кольбер командовал дивизией императорской лёгкой кавалерии и был ранен.