Som utrikesminister arbetade Andrássy på vidmakthållande av ett gott förhållande till Tyskland, närmade sig även Ryssland (på trekejsarmötet i Berlin 1872) och iakttog under krigen på Balkanhalvön (1876–1878) neutralitet. Men efter Freden i San Stefano (1878) blev förhållandet till Ryssland kyligt, och på Berlinkongressen, där Andrássy var Österrike-Ungerns förste representant, utverkade han, att Österrike-Ungern fick sig uppdraget ockupationen av Bosnien och Hercegovina. Efter att ha med Bismarck bragt till slut förhandlingarna om ett tysk-österrikiskt försvarsförbund lämnade Andrássy av oklara skäl 22 september 1879 sin ministerpost. Även efter sitt avsked utövade han tidtals ett inte obetydligt inflytande genom sin personliga vänskap med kejsar Frans Josef och sin stora popularitet i Ungern.