In 1816 werd Jermolov benoemd tot chef-staf van de Russische troepen in Georgië, kreeg hij de rang van artilleriegeneraal en werd hij commandant van het onafhankelijke Georgische Korps op 21 april 1816. Ook werd hij verantwoordelijk voor het Russische militaire beleid in de Kaukasus en de provincie rond Astrachan. Hij bleek een kundige bestuurder en wist succesvol te onderhandelen als ambassadeur van het Russische Rijk met Perzië in 1818 en kreeg daarvoor op 4 maart 1818 de rang van generaal van de infanterie. Hij was ook betrokken in de Kaukasusoorlog waar hij onder andere de opstandige bergbevolkingen van Dagestan en Tsjetsjenië op bloedige wijze onderdrukte en Grozny stichtte in de voorgebergtes van Tsjetsjenië, waardoor de plaatselijke bevolking zijn kuddes niet kon laten grazen, zorgend voor verhongering. Hij sloot de grenzen van Tsjetsjenië en Dagestan, zodat de volken daar geen handel meer konden drijven met andere regio's in het Russische Rijk en met het buitenland. Ook maakte hij zich schuldig aan etnische zuiveringen en gestuurde genocide door het gijzelen en vermoorden van gevangenen (de amanaten), het uitmoorden van hele dorpen, inclusief vrouwen en kinderen en het verdrijven van "niet meewerkende" Tsjetsjenen van hun land, dat vervolgens werd gekoloniseerd door Russische immigranten en kozakken. Hij wist de Tsjetsjenen te verdrijven van de Terek tot aan de rivier de Soenzja, waar hij de zogenoemde Soenzjamuur liet bouwen.