Am 9. September 1811 kehrte er zurück und erhielt das Kommando über die 17. Infanterie-Division. Mit dieser kämpfte er 1812 im Verband des 2. Infanterie-Korps gegen die französische Invasion. Er nahm unter dem Oberbefehl von General Baggehufwudt an den Schlachten bei Smolensk und Borodino teil. Ab dem 1. November 1812 kommandierte er das zweite russische Korps. In den Feldzügen des Jahres 1813 kämpfte er bei Lützen, Bautzen, an der Katzbach, bei Leipzig und der Belagerung von Mainz. Im Winterfeldzug 1814 erhielt er das Kommando über ein eigenes Korps und kämpfte zunächst erfolgreich bei Brienne und La Rothière. Am 10. Februar 1814 wurde sein Korps bei Champaubert von französischen Truppen unter Napoleon vollständig aufgerieben. Olsufjew selbst geriet in französische Gefangenschaft. Er wurde in Paris interniert bis zur Eroberung der Stadt durch russische Truppen am 1. April 1814. Später erhielt er wieder ein eigenes Kommando.