С самого начала Отечественной войны 1812 года Олферьев непрерывно находился в делах с неприятелем и отличился в своём первом же сражении под Кобриным, за что был награждён орденом св. Анны 4-й степени. Затем он отличился в деле под Городечной и в бою под деревней Виневой, за что 17 декабря получил чин штабс-ротмистра. В деле при Слониме он заслужил высочайшую благодарность, а за отличие в сражении на Березине был произведён в ротмистры. Оттуда Олферьев находился в преследовании французов до Вильно и Немана.