Por parte de su madre, Ivanović es pariente del futbolista Đorđe Milovanović, futbolista que militó en el Estrella Roja de Belgrado, así como con su hijo .