Milanović ble olympisk mester i vannpolo under Sommer-OL 1984 i Los Angeles. Han var med på det jugoslaviske laget som vant vannpoloturneringen foran USA og Vest-Tyskland. Jugoslavia vant finalegruppen som besto av fem lag med ni poeng, samme som USA men med bedre målforskjell. Kampen mellom USA og Jugoslavia ble uavgjort 5-5. Milanović spilte sju kamper og scoret seks mål i OL-turneringen.