В 1812 году Карл фон дер Гребен уволился по собственному желанию из Прусской армии и перешел на службу в Русскую императорскую армию. Принимал участие во многих сражениях Войны шестой коалиции: при Лютцене, при Бауцене, при Дрездене, а также под Кульмом и под Лейпцигом. Был ранен, повышен в чине до майора (1814). В 1815 году участвовал в битвах при Линьи и Ватерлоо. Получил звание подполковника.