Vuodesta 1902 Milovanović toimi suurlähettiläänä Roomassa ja edusti Serbiaa vuoden 1907 toisessa Haagin konferenssissa. Vuodesta 1908 hän toimi kuolemaansa asti Serbian ulkoministerinä, myös pääministerikautensa ajan. Hänen ulkoministerikautensa alkuun osui vaikea Bosnian kriisi, joka syntyi Itävalta-Unkarin liitettyä Bosnia-Hertsegovinan itseensä. Milovanović onnistui kriisin aikana taitavasti pitämään esillä toiveita serbien asuttamien alueiden yhdistämisestä Serbiaan ilman että tilanne kuitenkaan – kiihkeästä kansalaismielipiteestä huolimatta – provosoitui sodaksi Itävalta-Unkarin kanssa. Sota olisi tuhonnut toiveet aluelaajennuksista. Hän teki aloitteen vuonna 1910 toteuneeseen kauppasopimukseen Itävalta-Unkarin kanssa.