Во время Отечественной войны 1812 года полковник Олсуфьев состоял адъютантом великого князя Константина Павловича, в декабре 1812 года произведён в генерал-майоры. В Заграничном походе отличился в сражениях при Кульме, Лейпциге и Фер-Шампенуазе.