Ivanović comenzó su carrera futbolística en su ciudad natal con el FK Srem, club en donde también jugó su padre como defensa, antes de ser transferido al OFK Belgrado en diciembre de 2003.