Vuonna 1873 Venäjä solmi Saksan ja Itävalta-Unkarin kanssa kolmen keisarin liittona tunnetun löyhän puolustusliiton. Gortšakovin ja Saksan valtakunnankansleri Otto von Bismarckin välille syntynyt kilpailuasetelma kuitenkin haittasi liiton toimintaa, eikä Gortšakov kyennyt estämään liiton hajoamista vuonna 1875 puhjenneen Balkanin kriisin jälkeen. Samoihin aikoihin hänen otteensa alkoi heiketä eikä hän kyennyt estämään panslavismin vaikutuksen voimistumista Venäjän ulkopolitiikassa. Turkin sodan jälkeen Gortšakovin alaisena palvellut kreivi Nikolai Ignatjev pääsi sanelemaan turkkilaisille ankarat San Stefanon rauhanehdot, jotka muut Euroopan suurvallat vuorostaan kumosivat Berliinin kongressissa ja korvasivat Venäjälle vähemmän edullisilla ehdoilla. Gortšakov ei kyennyt estämään näitäkään tapahtumia ja piti Berliinin kongressia uransa pahimpana epäonnistumisena. Viimeisinä vuosinaan hän ei huonon terveytensä vuoksi enää juurikaan osallistunut kansainvälisiin tapaamisiin ja jätti vuonna 1880 ulkopolitiikan hoidon apulaiselleen Nikolai Giersille. Gortšakov luopui muodollisesti virastaan huhtikuussa 1882.