Será a partir de entonces cuando Yermólov comienza a despuntar. Como tropa de la Tercera Coalición, en 1805, Yermólov sirve en el flanco de las batallas de Amstetten y Austerlitz. A causa de sus méritos es promovido a coronel el 16 de julio de 1806. En la Cuarta Coalición, participó en la vanguardia de Piotr Bagratión en la batalla de Eylau y en la retirada a Landsberg. Participa como comandante de artillería en la batalla de Guttstadt, en la de Deppen, en la de Heilsberg y en la de Friedland, por lo que es condecorado caballero de la orden de San Jorge (3ª clase, 7 de septiembre de 1807). Será promovido a mayor-general el 28 de marzo de 1808 e inspector de la artillería montada. En 1809 inspecciona la artillería del ejército del Danubio, mientras que la Quinta Coalición le deja en la retaguardia, a cargo de las reservas, por lo que permanece dos años en las "guberniyas" de Volinia y Podolsk. En 1811 toma el mando de una compañía de artillería de la Guardia y en el 1812 se traslada al cuartel general del ejército del oeste de Mijaíl Barclay de Tolly. En la Sexta Coalición tomó parte en la batalla de Smolensk, la batalla de Valútino y en una disputa entre Bagratión y Barclay de Tolly en la que tendrá que dirigirse al emperador. Se convertirá en teniente general el 12 de noviembre de 1812. En la batalla de Borodinó fue herido, lo que le valió el recibir la orden de Santa Ana. En esas fechas también participa bajo las órdenes de Mijaíl Milorádovich en las batallas de batalla de Maloyaroslávets, en la de Viazma y en la de batalla de Krasnoi, y más tarde bajo el mando de Grigori Rosen, lo que le valdrá la promoción a comandante de la artillería de los ejércitos rusos hasta 1814.