В 1814 году участвовал в сражениях при Бриенне и Ла-Ротьере. 10 февраля 1814, командуя 9-м пехотным корпусом под Шампобером, был окружен превосходящими силами французов, ранен в штыковом бою, взят в плен и представлен Наполеону. Наполеон предложил Олсуфьеву обратиться с просьбой к Александру I обменять его на пленённого в 1813 году французского генерала Вандама, но Олсуфьев отверг это предложение. Из плена был освобожден через несколько недель после взятия союзными войсками Парижа. По возвращении в Россию в конце 1814 вернулся к исполнению обязанностей командира 17-й пехотной дивизии.