In 1811 nam hij het bevel op zich over de compagnie van de artilleriegarde en bij het begin van Invasie van Napoleon in Rusland (Zesde Coalitie) werd hij benoemd tot stafchef van het 1e Westelijke Leger. Zijn militaire kennis was van groot belang bij de Russische tactieken. Hij nam deel aan de terugtrekking naar Smolensk en speelde een grote rol in de ruzie tussen de generaals Barclay de Tolly en Bagration. Hij was tegen de strategie van de eerste en vroeg aan tsaar Alexander om hem te vervangen door Bagration. Bij de strijd onderscheidde Jermolov zich bij Valoetino, Malojaroslavets, waarvoor hij werd bevorderd tot luitenant-generaal op 12 november 1812. Bij de Slag bij Borodino raakte hij lichtgewond toen hij een succesvolle tegenaanval leidde waardoor de "Grote Redoute" werd heroverd.