Andrássysta tuli vahva Itävalta-Unkarin kaksoismonarkian tukija. Hän katsoi slaavien muodostavan uhan valtakunnalle ja kannatti liittoa Saksan kanssa. Niinpä hän vastusti vuonna 1871 Itävallan pääministeri Karl Siegmund von Hohenwartin suunnitelmaa Böömin autonomian laajentamisesta ja vaati Itävallan pysymistä puolueettomana Ranskan–Saksan sodan aikana. Hänen toiveittensa mukaisesti keisari Frans Joosef I omaksuikin saksalaisystävällisemmän ulkopolitiikan ja nimitti Andrássyn valtakunnan ulkoministeriksi Friedrich Ferdinand von Beustin seuraajana 14. marraskuuta 1871. Andrássyn johdolla Itävalta-Unkari solmi vuonna 1879 Saksan kanssa puolustusliiton, joka toimi sen jälkeen maan ulkopolitiikan kulmakivenä aina ensimmäisen maailmansodan loppuun asti. Andrássy vastusti toimia, jotka olisivat lisänneet slaavilaisten kansojen osuutta Itävalta-Unkarin väestöstä. Balkanin sodan aikana 1876–1878 hän piti Itävalta-Unkarin puolueettomana. Hän kuitenkin hyväksyi vuoden 1878 Berliinin kongressissa sen, että Itävalta ryhtyisi miehittämään Bosnia-Hertsegovinaa, sillä hän halusi kompensoida Venäjän vahvistunutta asemaa Balkanilla. Päätös muodostui hyvin epäsuosituksi sekä Itävallassa että Unkarissa, ja Andrássy erosi ulkoministerin tehtävistä 8. lokakuuta 1879, päivää Saksan kanssa solmitun sopimuksen allekirjoittamisen jälkeen.