До початку відкритих боїв із французами Граббе був відряджений Барклаем-де-Толлі як парламентер у французьку армію з таємним дорученням довідатися про місце головної французької армії та її чисельнiсть. Це доручення було успішно виконанe, причому Граббе особисто доповів Олександру I про результат своїх спостережень. У подальшому Граббе брав участь у битвах при Смоленську, а 6 серпня, коли становище частини російської армії було досить критичним через натиск французьких військ, Граббе відновив порядок, зібравши навколо себе велику кількість солдатів, вийшов з ними на дорогу, i рушив назустріч французькiй арміi, прикривши таким чином відступ решти своїх воякiв. За це згодом отримав Георгіївський хрест 4-го класу, та дiaмантовi знаки до ордена св. Анни 2-го ступеня. Залишаючись ад'ютантом генерала Єрмолова, а пiзнiше -генерала Милорадовича, Граббе брав участь у всіх значних битвах Франко-росiйської війни, у тому числі, в битві під Вітебськом, при Бородіно (орден св. Анни 2-го ступеня, 22 вересня 1812 р.), Тарутине (орден св. Володимира 4-го ступеня з бантом, 25 лютого 1813 р.), Малоярославцi (за цей бiй був проведений в штабс-капітани), під Вязьмою і Красним. Пiд час відступу Наполеона Граббе був відряджений у партизанський загін Вальмодена, який чинив набіги на розкидані частини французької армії. У 1814 році Граббе брав участь у поході у Францію і 18 травня 1814 р. отримав чин капітана.