OpenLLM-France/wikimedia huggingface dataset:
# Calibra/Encontros/Entre plataformas e algoritmos: as plataformas Wikimedia diante do funcionamento das plataformas digitais e inteligências artificiais

| Início | Rede de colaboração entre pares | Capacitação de lideranças brasileiras |
Entre plataformas e algoritmos: como situar a Wikimedia diante do funcionamento das plataformas digitais e inteligências artificiais?
Objetivo: o objetivo deste encontro é apresentar e discutir as especificidades das plataformas Wikimedia em relação ao funcionamento das plataformas digitais coordenadas pelas Big Techs e das inteligências artificiais.
Conteúdos:
Desafios sociotécnicos da cultura digital: plataformização da vida cotidiana e o avanço das Inteligências Artificiais;
Plataformas Wikimedia: o último bom lugar da internet?;
A direção estratégica do Movimento Wikimedia: Equidade & Serviço.
Dinâmica do encontro: o encontro iniciará com uma discussão coletiva sobre o vídeo “Café expresso: cultura digital”, focada no impacto das redes sociais e plataformas digitais no cotidiano. Em seguida, alguns questionamentos sobre os usos das inteligências artificiais para a criação de conteúdos serão adicionados à discussão.
Finalmente, haverá um momento de síntese coletiva sobre as formas como o funcionamento das plataformas Wikimedia se difere das demais plataformas digitais, seguida de um fechamento do encontro com a identificação de formas como a direção estratégica do Movimento Wikimedia colabora com a compreensão destas diferenças.
Referências:
CAFÉ FILOSÓFICO CPFL. Café Expresso: cultura digital. YouTube, 7 de jun. de 2022.
COOKE, Richard. Wikipedia o último melhor lugar na internet. Wired, 17 de fev. de 2017.
Ver também:
JURNO, Amanda Chevtchouk. Estudos de plataformas. In: Facebook e a plataformização do jornalismo: uma cartografia das disputas, parcerias e controvérsias entre 2014 e 2019. Tese (doutorado), Universidade de Minas Gerais, Faculdade de Filosofia e Ciências Humanas, Belo Horizonte, 2020. P. 41-66.
NALIN, Carolina. ‘Não podemos repetir o que fizemos com as redes sociais', diz pesquisadora sobre inteligência artificial. O Globo, 5 de abril de 2023.
Estratégia do Movimento. :
# Calibra/Encontros/Dinâmica de apresentação dos participantes

| Início | Rede de colaboração entre pares | Capacitação de lideranças brasileiras |
Dinâmica de apresentação dos participantes
Objetivo: o objetivo deste encontro é proporcionar um momento de integração e descontração aos participantes do calibra.
Conteúdos:
Atividade de quebra-gelo;
Atividade no Google Jamboard: identificando interesses, propósitos e formas de atuação na Wikimedia;
Rodada de apresentação individual a partir das respostas no Jamboard.
Dinâmica do encontro: os participantes serão recebidos com uma atividade de quebra-gelo, na qual responderão questões em uma página do Google Jamboard. No segundo momento, também utilizando o Jamboard, responderão perguntas sobre seus tópicos de interesse, motivações e formas de atuação no Movimento Wikimedia. Respondidas as perguntas, cada um irá se apresentar aos colegas comentando as próprias respostas. :
# Calibra/Encontros/Educação

| Início | Rede de colaboração entre pares | Capacitação de lideranças brasileiras |
| Geral | GLAM-Wiki | Educação |
# Calibra/Encontros/As quatro etapas das iniciativas GLAM-Wiki II

| Início | Rede de colaboração entre pares | Capacitação de lideranças brasileiras |
As quatro etapas das iniciativas GLAM-Wiki II: etapa técnica e etapa de difusão
Objetivo: apresentar e discutir as etapas técnica e de difusão das iniciativas GLAM-Wiki.
Conteúdos:
Etapa técnica: carregamento de acervos, interoperabilidade entre as plataformas Wikimedia e as contribuições do Museu Portátil para a autonomia das instituições;
Etapa de difusão: editatonas, wikiconcursos e a circulação dos acervos carregados nas plataformas Wikimedia.
Dinâmica da aula: este encontro terá o formato de palestra, com uma apresentação e perguntas ao final. Durante a palestra serão apresentadas as etapas técnica e de difusão das parcerias GLAM-Wiki, com foco na infraestrutura técnica necessária para fazer a digitalização e o carregamento dos acervos e nas atividades que servem à sua difusão nas plataformas Wikimedia. No fim da palestra, os participantes terão a oportunidade de fazer perguntas e tirar dúvidas com a palestrante. Finalizando o encontro, será feita a apresentação do modelo para elaboração do diagnóstico de compatibilidade jurídica e tecnológica da instituição GLAM com a Wikimedia.
Modelo de entrega: matriz de compatibilidade jurídica e tecnológica das instituições GLAM com a Wikimedia.
Referências:
MUSEU PORTÁTIL. Manual para a digitalização de acervos para a difusão digital. 2022, p. 28-40.
CARMO, Danielle; MARTINS, Dalton.Acervos Culturais Brasileiros no Repositório Wikimedia Commons: um estudo sobre o reúso e a visualização de mídias referentes a coleções de museus do Instituto Brasileiro de Museus(Ibram). Ci.Inf., Brasília, DF, v.49 n.3, p.159- 172, set./dez. 2020.
Ver também:
A Academia e os GLAMs invadem a Wiki.
Guia para a elaboração da estratégia de difusão digital do Museu Paulista.
WIKI MOVIMENTO BRASIL. Ferramentas da Wikimedia nas bibliotecas e potenciais de uso | Festa da Wiki-Lusofonia. Youtube, 10 de mar. de 2021. :
# Calibra/Encontros/Como fazer uma análise de riscos

| Início | Rede de colaboração entre pares | Capacitação de lideranças brasileiras |
Como fazer uma análise de riscos
Objetivo: o objetivo deste encontro é a apresentação e o preenchimento do modelo de análise de riscos a ser feita pelos participantes.
Conteúdos:
a importância de fazer uma análise de riscos;
apresentação e instruções para preenchimento do modelo de gestão de riscos do calibra;
início do preenchimento da tabela de análise de riscos.
Dinâmica do encontro: o encontro iniciará com uma apresentação sobre a colaboração das análises de risco com a implementação de projetos, seguida das instruções para preenchimento do modelo a ser utilizado. Finalmente, os participantes iniciarão as suas análises e terão a oportunidade de tirar dúvidas durante o encontro. :
# Calibra/Encontros/Entrando em contato com parceiros: como apresentar as plataformas Wikimedia aos professores II

| Início | Rede de colaboração entre pares | Capacitação de lideranças brasileiras |
Entrando em contato com parceiros: como apresentar as plataformas Wikimedia aos professores II
Objetivo: apresentar e discutir o modelo de diagnóstico dos interesses e recursos do professor.
Conteúdos :
Por que fazer um diagnóstico? A importância do levantamento de dados para definir as expectativas possibilidades de atividades a desenvolver;
Apresentação do modelo de diagnóstico a ser utilizado pelos participantes;
Discussão sobre o modelo: o que ainda falta perguntar?
Dinâmica do encontro: o encontro iniciará com uma apresentação sobre a importância de levantar dados para conhecer os interesses e recursos disponíveis para o(a) professor(a), com o objetivo de definir as expectativas e identificar as possibilidades de atividades a serem desenvolvidas. Em seguida, o modelo de diagnóstico a ser utilizado pelos participantes será apresentado e discutido coletivamente, a fim de encontrar possíveis lacunas e pontos para melhoria.
Modelo de entrega: modelo de diagnóstico dos interesses e recursos do(a) professor(a). (em desenvolvimento).
Referências
SECO, Carlos; MENDES, António Quintas. Recursos Educacionais Abertos: OpenStax Connexion ou Wikilivros. Atas do XVII Simpósio Internacional de Informática Educativa, p. 35-42, 2015.
WIKIVERSIDADE. Princípios básicos para professores: Como usar a Wikipédia como uma ferramenta de ensino.
Ver também:
Wikipuentes: Puentes entre las culturas escolares, digitales y libre.
Wikimedia em sala de aula: como usar a wikipédia e outros projetos wikimedia como ferramenta pedagógica.
Estudos de caso: Como os professores estão ensinando com a Wikipédia. :
# TURMA JO B

As implicações financeiras na redução da velocidade máxima nas marginais - Júlia Favero e Marcella Cantoni
Programa de Ensino Integral do Estado de São Paulo - Aline Tavares, Ana Paula Lima, Beatriz Santoro e Mariane Ribeiro
No ano das Olimpíadas, crise econômica dificulta investimento da USP no esporte - Arthur Beltrame, Aurélio Silva, Daniel Gelbaum e Gustavo Boldrini
Reintegração de posse da rua José Porfírio - Bruno Macedo, Eric Campi, Gabriel Alves e Ricardo Siqueira
Programa "De Braços Abertos": gastos e orçamentos - Ana Isabella Cascione, Fernanda Grillo, Izabela Gama e Laura Marchezini
Como funciona o processo de aquisição de medicamentos pelo Estado? - Marina Felix, Matheus Cabral e Veronica Maluf
Três anos depois, fraude no IPTU de São Paulo continua sem resposta - Allan Correia e Carla Bridi
Educação: direito ou mercadoria? - Caroline Vieira, Giovanni Magliano, Paulo Henrique Sartori e Tatiana Carvalho
Perseguição e mortes de Jornalistas durante o a Ditadura Militar - Caroline Domingues, Giulia Granchi, Jéssica Cipriano e Vitória Salatine
# TURMA JO B/Educação: direito ou mercadoria?

Relatório sobre a pesquisa na LAI para construção de reportagem sobre o Grupo Kroton Educacional
A Lei de Acesso à Informação, Nº 12.527, de 18 de novembro de 2011, que está em vigor desde maio de 2012 vem para fortalecer um dos pilares da democracia. Ela abarca a ideia de que a informação é um direito do cidadão e, dessa forma, deve haver transparência do órgãos públicos. Para tanto, é importante que se tome conhecimento da existência dessa lei, e da noção de que informações podem ser demandadas da administração pública (direta e indireta), tanto municipal, estadual, quanto nacional e é um direito que se tenha uma resposta clara e precisa, sem necessidade de apresentar justificativa para a pergunta.
Para escrevermos uma reportagem sobre o Grupo Kroton Educacional, o maior conglomerado de educação do mundo, era preciso que tivéssemos acesso aos dados do FIES - Fundo de Financiamento Estudantil para Educação Superior -, uma vez que é de interesse público saber onde o governo investe os recursos da Educação. Não estando públicos os dados do número de estudantes beneficiados por faculdade, foi preciso requisitar ao Ministério da Educação por meio da Lei de Acesso à Informação. “Qual o número de alunos por faculdades do Grupo Kroton que recebem auxílio do Fies no Brasil. Sendo as faculdades: Anhanguera, FAMA, Pitágoras, UNIC, Uniderp, Unime e Unopar” foi a pergunta realizada. Foram solicitados os dados semestrais de 2012 a 2016.
O pedido foi registrado dia 05 de outubro de 2016 com número de protocolo 23480.015873/2016-32 e logo recebeu uma resposta do órgão ao qual a informação foi solicitada: “Informamos que sua solicitação foi reencaminhada ao FNDE - Fundo Nacional de Desenvolvimento da Educação, para as devidas providências”. E, em quinze dias recebemos a resposta em formato de uma planilha. Tanto os dados brutos, quanto a interpretação destes estão disponíveis na reportagem publicada online: https://perfilkroton.wordpress.com. O primeiro na seção “anexos” e o segundo no corpo do texto principal.
É interessante notar como essa informação foi essencial para a apuração dos dados sobre a empresa. E, tendo sido rápida e precisa tanto a resposta do MEC, quanto do FNDE a nossa prática jornalística foi facilitada. Com essas informações pudemos construir uma matéria com dados interessantes e fidedignos, provindos diretamente da fonte primária. Por fim, ressaltamos que deixamos em evidência na matéria que as informações são provindas da LAI, a fim de ajudar na propaganda desta política pública.
Durante a atividade, percebemos como a LAI serve como uma poderosa ferramenta para a prática jornalística. Atrás de informações que, em muitos casos, o Estado pode querer evitar que venham à público, o jornalista está munido de uma lei que garante a sua legitimidade em requisitar dados que sejam de interesse de toda a população. Sem ela, por exemplo, sentimos que não encontraríamos outra forma de abordar de maneira precisa a relação das faculdades Kroton com o FIES.
# Observatório de dados/BI/Capacidade/Proveniência
## Como o público pode confiar num relatório de BI?

Existem diversos elementos que levam a uma maior ou menor confiabilidade do dado,
* fontes dos dados: todo relatório de BI deve citar as fontes e de preferência dar acesso a elas (permitir baixar os dados).
* Reprodutibilidade: elemento fundamental na Ciência e no jornalismo (única arma contra as fake news), quando um resultado não pode ser reproduzido, ele automaticamente deixa de ser confiável.
* reputação: a confiabilidade da pessoa ou autoridade responsável pela guarda ou geração de um dado, é transmitida ao próprio dado.
** do responsável da fonte: fontes fiáveis são fundamentais. Se por exemplo preciso dos dados de população do Brasil, a fonte original e fiável é o site do IBGE onde posso baixar e referenciar os dados utilizados pelo relatório.
** do responsável do relatório (autor do relatório, que efetuou a análise de BI)

### Proveniência: de onde vieram os dados publicados?

    Ilustrando o fluxo de processamento no preparo dos dados EXEMPLO A tabela de dados utilizada para definir no Brasil as profissões enquadradas como MEI (microempreendedor individual), que corresponde ao Anexo-XIII da Resolução CGSN de 1994. Temos diferentes fontes e elementos a considerar: Identificador do documento, urn:lex:br:ministerio.fazenda;comite.gestor.simples.nacional:resolucao:2011-11-29;94 no padrão URN LEX. Trata-se de uma identificação hierárquica: jurisdição BR (federal); autoridade Ministério da Fazenda/Comitê Gestor do Simples Nacional; documento do tipo Resolução; data de publicação 2011-11-29; documento ID 94. Na ficha catalográfica do portal que resolve o identificador oficial, são indicados: Publicação Original: Publicação retificada: Texto retificado multivigente: mais este. arquivo de dados CSV: faz parte do repositório git da Open Knowledge http://datasets.ok.org.br/MEI-anexo13-atividades Conteúdo transcrito para site oficial, portaldoempreendedor.gov.br.
A descrição padronizada da proveniência dos dados é parte essencial da entrega de um "produto de BI", por descrever as fontes de dados e o percurso computacional realizado para se chegar nos gráficos, tabelas, sumarizações e demais visualizações de dados.
Apenas citar as fontes em geral não basta. O conceito de proveniência é similar ao conceito similar ao de cadeia de custódia para a determinação da autenticidade e integridade dos dados utilizados como fonte. Pode referir-se à documentação cronológica ou histórico que registra a sequencia de custódia, controle, transferência, análise e disposição dos dados digitais ou ainda de uma fonte analógica. O processo de descrição da proveniência em geral consiste de:
* obtenção dos identificadores oficiais e endereços de guarda fiáveis dos dados...
* registro do processo de captura
* registro dos filtros e operações de preparo
* identificação do dado ou dados finais
# Observatório de dados/BI/Exemplo/1.1

* Exemplo 1.1
* Testes realizados:
* Std-BI
* G-Chart
* MS-Power-BI
* Orange
* Tableau
Objetivo: analisar dados simples para obter diferentes tipos de sumarização (máximo, mínimo, média, mediana, etc.).
Dataset: dados brutos tabulares cedidos por uma operadora de telefonia móvel, relativos à amostragem, ao longo de um mês, de consumo de celular por pessoa. O dataset foi organizado em duas colunas, a de tempo (T em minutos) de uso de telefone celular, e a coluna de consumidores (identificadores C).
Fonte: dados simulados pelo autor, Tavares2007 a partir de um caso real.

## Dados-fonte

Dados brutos conforme fornecidos em diferentes fontes.
| Título | Visualização | Dado cru |
| C e T (estruturados corretamente) | exemplo01-bom.csv | raw |
| C e T (mal estruturados) | exemplo01-ruim.csv | raw |
A ferramenta de BI, idealmente, deveria ser direto a URL do raw data, sem necessidade de baixar para o computador.
Ver também possíveis variantes dos dados.

## Ilustrando o uso dos dados

Capacidades testadas com este exemplo :
| Item | Subitem | Teste | Comentário |
| Carga | Arquivo | sugerido | testar com os arquivos CSV bom e ruim, conferindo a faceta de carga assistida com o arquivo ruim. |
| Carga | Web | obrigatório | Ver link raw data. |
| Carga | Vinculação | opcional | A vinculação pode ocorrer através de eventos (ex. abrir a ferramenta) ou longos períodos (ex. atualização a cada mês), não precisa ser instantânea. |
| Sumarização | (diversas: média, mediana, máximo, mínimo, etc.) | obrigatório oferecer pelo menos uma | |
| Sumarização gráfica | Histograma | opcional | |
| Visualização filtrada | ... | opcional | |
| Visualização gráfica | plot XY | obrigatória | |
* Diferentes visões do dataset tabular
* Dados brutos inadequados, fora do padrão tabular.
* Gráfico com distribuição das frequências agrupadas em classes.
* Relatório do exemplo no Power-BI.
* Relatório do exemplo no Tableau.
# Observatório de dados/BI/Capacidade/Modificação

* Capacidades
* Carga
* Modificação:
* Transformação
* Filtragem
* Junção
* Análise
* Relatório
* Template
Modificar ou "remodelar" os dados oriundos da carga é uma das necessidades mais comuns dos usuários de ferramentas de BI, portanto a modificação é uma importante capacidade para a ferramenta. A formalização do conceito é feita através da segmentação em "modificadores puros", destacando etapas metodológicas que nem sempre poderão ser reproduzidas na prática, mas ajudam a classificar as ferramentas. Existe por exemplo uma distinção sutil entre transformação e filtragem, que na prática se manifesta como uma mistura complexa de ambas.
* Transformação: para transformações que não afetam o teor dos dados, ou seja, preservam a maior parte da informação. Definida a seguir.
* Filtragem: quando a transformação afeta o teor dos dados, reduzindo o volume de informação.
** Filtragem dependente de segunda fonte: apesar de não injetar diretamente uma nova informação, a segunda fonte ajuda a decidir como filtrar... Ver "fusão com filtragem"...
* Junção: fusões, junções ou joins ocorrem quando aumenta o volume de informação. Isso só é possível fazer ao juntarmos duas ou mais fontes. A união ou interseção de dois conjuntos de dados são casos típicos.
# Observatório de dados/BI/Capacidade/Template

* Capacidades
* Carga
* Modificação:
* Transformação
* Filtragem
* Junção
* Análise
* Relatório
* Template
Definição de template enquanto "capacidade de ferramenta de BI"...
# Observatório de dados/BI/Capacidade/Transformação

* Capacidades
* Carga
* Modificação:
* Transformação
* Filtragem
* Junção
* Análise
* Relatório
* Template
Existe uma distinção sutil entre transformação e filtragem, e em geral realizamos uma mistura complexa de ambas.
* Transformação: para transformações que não afetam o teor dos dados, ou seja, preservam a maior parte da informação. Definida a seguir.
* Filtragem: quando a transformação afeta o teor dos dados, reduzindo o volume de informação.
** Filtragem dependente de segunda fonte: apesar de não injetar diretamente uma nova informação, a segunda fonte ajuda a decidir como filtrar... Ver "fusão com filtragem"...
* Fusão: fusões, junções ou joins ocorrem quando aumenta o volume de informação. Isso só é possível fazer ao juntarmos duas ou mais fontes. A união ou interseção de dois conjuntos de dados são casos típicos.
A noção de VIEW foi introduzida no padrão SQL ... Não deve ser confundida com a View do MVC (software pattern Model-View-Controller) onde a SQL-View participaria como model e não como View. Nas ferramentas de BI o uso de diferentes software patterns é uma decisão específica da ferramenta, não cabe impor arquiteturas específicas no modelo de referência.
... View/Sumarização View/Projeção View/Filtragem booleana ... View/Join ...
Algumas viws requerem dados estruturados em árvore (por exemplo view de filtragem de nível hierárquico), outras requerem dados tabulares (ex. Join) .. Outras como sumarização possuem aproximadamente a o mesmo resultado independente da estrutura de dados de entrada...

## Facetas

A classificação dos tipos de transformação se faz através de facetas, ou seja, verifica-se se a ferramenta (ou o tipo de transformação analisada) contempla uma ou mais facetas.

### Direta

f(x) em geral usada para pequenas correções de formato e transformações padronizadas...
no caso de normalização temos o cálculo dependente de filtragem por sumarização (valor total de uma coluna é uma sumarização). Isso a rigor requer a junção entre ambas (produto cartesiano entre o dataset X e o dataset S contendo apenas o valor da soma)

### Composta

f(x,y)

### Com perda

Com perda de informação .. Por exemplo arredondando um valor real para inteiro, perdem-se dídgitos decimais, portanto perde-se informação..

### Sem perda

Por exemplo convertendo gramas em quilogramas, sem arredondamentos, não há perda de informação.
# Observatório de dados/BI/D3.js

* Ferramentas de BI:
* Std-BI
* MS-Power-BI
* Orange
* Tableau
* Componentes
Componente de ferramenta de BI. D3.js, Data-Driven DOM.
O D3 é utilizado principalmente como framework na construção de visualizações especiais e interativas. Para gráficos padronizados (convention over configuration), preferir usar uma "camada acima do D3", NVD3 http://nvd3.org

## Carga de CSV

A carga de arquivo CSV para poder usar, por exemplo, como array em um gráfico simples, é direta com a função d3.csv(url[[, row], callback]). De qualquer forma, é importante ficar de olho nos problemas com CORS (Cross-origin resource sharing), quando o arquivo CSV se encontra em URL de domínio diferente.
Como a maior parte das soluções de carga de dados em Javascript é assíncrona, deve-se tomar o cuidado de fazer a chamada ao d3.csvParse (ou uma renderização de dados) somente depois que os dados do CSV foram carregados na array.

## Gráfico de barras

Suponhamos que o gráfico seja construído sobre SVG, por exemplo uma tag vazia <svg width='200' height='500'></svg>. Existem várias opções, algumas muito parecidas com o G-Charts, mas o diferencial de se usar D3 é a possibilidade de construir cada elemento do gráfico. Vejamos que mesmo neste caso aparenmente complexo, ainda é simples (explicações aqui). Continuando o caso anterior, substituindo o console pela visualização do gráfico:

## Links externos

* https://d3js.org
* D3 vs JQuery - https://stackoverflow.com/a/16290975
* Tutoriais:
** https://www.codewall.co.uk/getting-started-with-nvd3-js
** https://d3js.org/#properties
** Array rearranjada em D3.bin para histogramas e distribuições https://observablehq.com/@d3/d3-bin?collection=@d3/d3-array
** Representação básica de histograma https://observablehq.com/@d3/histogram
* Demos:
** https://gerardofurtado.com/demos.html
** https://jsfiddle.net/xameeramir/zcgLybpd/
** (time series chart) Convert ISO Date to a scale.ordinal, see http://jsfiddle.net/ee2todev/3Lu46oqg/
** An NVD3 example, http://nvd3.org/livecode/index.html#codemirrorNav