Во время Отечественной войны 1812 года генерал-лейтенант Олсуфьев командовал 17-й пехотной дивизией в 1-й Западной армии, отличился в Бородинском сражении и в Тарутинском бою, где после гибели генерала К. Ф. Багговута возглавил 2-й пехотный корпус. С августа 1813 года командовал 9-м пехотным корпусом. В кампании 1814 года сражался во Франции, после сражения при Шампобере был захвачен французами в плен и освобождён был уже после взятия Парижа. Во время Ста дней во главе 17-й пехотной дивизии вновь совершил поход во Францию.