Im Kriegsjahr 1805 diente Jermolow in der Vor- und in der Nachhut, zeichnete sich bei Amstetten und Austerlitz aus und wurde dafür zum Oberst befördert (16. Juli 1806). Im folgenden Jahr nahm er beim Vortrab des Fürsten Bagration am Feldzug in Polen teil. Während des Rückzugs nach Landsberg und der Schlacht bei Preußisch Eylau bei der Nachhut eingesetzt, zeichnete er sich in mehreren Aktionen als Chef einer Kompanie der berittenen Artillerie aus.