Während der Balkankrise, d. h. der Kriege der Türkei mit Serbien und Montenegro und dann mit Russland, leitete er die österreichisch-ungarische Politik im Sinne der Neutralität. Der Vertrag von San Stefano 1878 trübte das Verhältnis zu Russland. Andrássy erhielt von den Delegationen einen Kredit von 60 Millionen Gulden und arbeitete nun dahin, dass der Friedensvertrag von San Stefano einem europäischen Kongress unterbreitet wurde, der im Juni 1878 in Berlin zusammentrat und an dem er als erster Bevollmächtigter teilnahm. Dort bewirkte er, dass Österreich von den Großmächten das Mandat zur Besetzung von Bosnien und der Herzegowina übertragen wurde. Am 8. Oktober 1879 trat er von seinem Ministerposten zurück, nachdem er seiner Tätigkeit durch den Zweibund mit dem Deutschen Kaiserreich einen je nach Ansicht glänzenden oder aber verhängnisvollen Abschluss gegeben hatte. Offiziell gab er gesundheitliche Gründe für diesen Schritt an. Eine Rolle dürfte auch gespielt haben, dass der russische Einfluss, den er jahrzehntelang bekämpft hatte, auch auf Ungarn überzugreifen begann.