Wikipédia Discussão:Filtro de edições/Análise

message: Durante esta semana estive observando os logs dos filtro referentes às páginas novas, o 2 e o 6. Os resultados podem ser vistos em Usuário:Daimore/Análise de logs.
Com isso pude ver que ambos os filtros estão impecáveis, e os problemas que tinham já foram consertados. Gostaria de saber o que pensam dessa iniciativa. É uma forma de centralizar a verificação de falsos positivos e da utilidade do filtro e de deixar claro que há alguém fazendo essas verificações periodicamente. Não sei até que ponto isso é útil e pode ser feito por mais pessoas. Talvez seja o caso de analisar apenas os logs a partir da última edição em um filtro, a fim de diminuir o trabalho de verificação.
Também aproveito pra perguntar se é possível - ou viável - já implementar a opção de "Impedir o utilizador de realizar a ação em questão", contanto que haja alguém observando os logs periodicamente. Nesses casos teríamos evitado o ímpeto de algumas contas de ataque e a criação de muitas páginas impróprias. Boa parte dos vandalismos óbvios em artigos novos vem sendo detectado por esse filtro, e eu estou sempre procurando novas maneiras de detectar artigos novos fora do escopo do projeto. Daimore msg 18h51min de 30 de abril de 2009 (UTC)
replies: text: Aproveitando: sei que o Lechatjaune está procurando maneiras de incluir vários filtros em um só; seria interessante ter o filtro 7 adicionado ao filtro 6. Páginas novas com conteúdo ofensivo são claramente impróprias. Daimore msg 18h57min de 30 de abril de 2009 (UTC)
replies: text:  Apesar do atraso, eu fiz isso. Não fiz antes porque estava testando o filtro 7. Lechatjaune msg 15h15min de 23 de junho de 2009 (UTC)
thread_title:  Análise de logs 

message: Alguém já conseguiu ver este colorido verde/vermelho que o Helder implementou? Aqui tá tudo na mesma...OTAVIO1981 (discussão) 18h15min de 12 de julho de 2013 (UTC)
replies: text: Já limpou o cache do navegador? Confira se a página de JavaScript que está carregando já contém o texto "addCSS" (que foi incluído nessa atualização recente). Depois abra o registro de um período ou filtro específico (exemplo) para o qual saiba que já verificamos alguns casos. Helder 19h42min de 12 de julho de 2013 (UTC)
replies: text: Eu jurava que tinha limpado o cache mas pelo visto, não. Agora tá funcionando, vlw!!OTAVIO1981 (discussão) 19h51min de 12 de julho de 2013 (UTC)
thread_title:  Script (experimental) 

message: Nas estatísticas está aparecendo os filtros eliminados / não ativos. Não é melhor retirar eles da tabela? Rjclaudio msg 00h47min de 29 de julho de 2013 (UTC)
thread_title:  Filtros eliminados 

message: Várias análises do filtro 38 (link) não estão sendo detectadas e exibidas em verde no registro (link). As que estão apenas como correto aparecem, mas as que estão com comentário "Filtro 10 - xxx" não aparecem. Rjclaudio msg 18h52min de 18 de agosto de 2013 (UTC)
replies: text: Em algum momento devo ter escolhido uma expressão regular inadequada para detectar os registros. Acredito que esta alteração resolve o problema (e remove os itens duplicados conforme forem feitas novas análises). Limpe o cache para usar a nova versão do script. Helder 21h44min de 18 de agosto de 2013 (UTC)

text: Também notei um outro problema (mas não poderei resolver nenhum deles agora). Helder.wiki (discussão) 18h21min de 21 de agosto de 2013 (UTC)
replies: text: Passando para informar que por aqui nenhum está funcionando o fundo verde. , talvez possamos pensar num plano de contigência focado em alguns poucos filtros de modo que seja possível dar continuidade ao trabalho. OTAVIO1981 (discussão) 19h12min de 21 de agosto de 2013 (UTC)

text:  e , eu corrigi o segundo problema e isso parece ter resolvido o primeiro também. Helder.wiki (discussão) 23h36min de 21 de agosto de 2013 (UTC)
thread_title:  Análises não detectadas 

message: e . Não lembro onde fiz o comentário anterior a respeito deste assunto mas como aqui parece ser o local mais apropriado vou dar continuidade ao tema. A tabela abaixo é um resumo que explico adiante:
Julho	Julho       	Julho	Julho	'	Agosto	Agosto      	Agosto	Agosto
Dia  	Impedimentos	Ações	%    	      	Dia   	Impedimentos	Ações 	%
1    	594         	906  	65,6%	      	1     	423         	624   	67,8%
2    	630         	974  	64,7%	      	2     	430         	618   	69,6%
3    	558         	859  	65,0%	      	3     	336         	492   	68,3%
4    	508         	829  	61,3%	      	4     	412         	593   	69,5%
5    	441         	682  	64,7%	      	5     	480         	757   	63,4%
6    	398         	634  	62,8%	      	6     	543         	799   	68,0%
7    	471         	854  	55,2%	      	7     	556         	813   	68,4%
8    	619         	897  	69,0%	      	8     	532         	859   	61,9%
9    	633         	1006 	62,9%	      	9     	419         	581   	72,1%
10   	568         	911  	62,3%	      	10    	349         	504   	69,2%
11   	539         	794  	67,9%	      	11    	348         	528   	65,9%
12   	516         	810  	63,7%	      	12    	550         	818   	67,2%
13   	342         	575  	59,5%	      	13    	560         	893   	62,7%
14   	421         	661  	63,7%	      	14    	548         	928   	59,1%
15   	609         	1001 	60,8%	      	15    	796         	1085  	73,4%
16   	660         	1159 	56,9%	      	16    	445         	620   	71,8%
17   	445         	693  	64,2%	      	17    	385         	562   	68,5%
18   	530         	1281 	41,4%	      	18    	408         	614   	66,4%
19   	642         	1517 	42,3%	      	19    	545         	791   	68,9%
20   	427         	814  	52,5%	      	20    	609         	874   	69,7%
21   	392         	647  	60,6%	      	21    	563         	801   	70,3%
22   	523         	764  	68,5%	      	22    	514         	778   	66,1%
23   	557         	938  	59,4%	      	23    	480         	669   	71,7%
24   	590         	936  	63,0%	      	24    	367         	525   	69,9%
25   	651         	1146 	56,8%	      	25    	376         	507   	74,2%
26   	569         	949  	60,0%	      	26    	605         	846   	71,5%
27   	472         	708  	66,7%	      	27    	590         	893   	66,1%
28   	506         	814  	62,2%	      	28    	551         	830   	66,4%
29   	721         	1213 	59,4%	      	29    	555         	802   	69,2%
30   	509         	742  	68,6%	      	30    	565         	791   	71,4%
31   	442         	637  	69,4%	      	31    	389         	546   	71,2%
A coluna "ação" indica se houve uma edição correspondente do filtro e a coluna "impedimento" indica se dentre os filtros disparados por uma edição (mesmo timestamp, artigo, editor), se houve um aviso ou desautorização desta. Acho que deste modo é possível avaliar a eficiência dos filtros pois o ideal ao meu ver é termos os filtros avisando ou desautorizando o máximo possível visto que estão sendo acompanhados para detectar somente edições de má-fé. Então, lendo novamente a tabela, De todas as 546 ações de má fé no dia 31/08, somente 389 foram impedidas de alguma forma e 157 foram efetivamente salvas. Talvez seja interessante comparar estes valores diários com a quantidade de edições no dia e as quantidades de reversões no dia para saber qual a ordem de grandeza dos filtros no combate ao vandalismo.   e , tem como vocês gerarem estes dados? Voltando a tabela, vemos um aumento na quantidade de edições de má fé que os filtros impedem. Vou tentar gerar os dados de outros meses para me certificar que não é uma sazonalidade dos dados. OTAVIO1981 (discussão) 13h20min de 25 de setembro de 2013 (UTC)
replies: text: , se entendi bem os dados que você precisa agora são os números diários de edições e reversões, certo? HAndrade (WMF) (discussão) 13h25min de 25 de setembro de 2013 (UTC)
replies: text: Entendeu corretamente, . Algum comentário/sugestão a respeito do que fiz? OTAVIO1981 (discussão) 13h29min de 25 de setembro de 2013 (UTC)
replies: text: Excelente, ! Esse levantamento inclui todos os filtros ativos? Como vocês conseguem acompanhar apenas para detectar edições de má-fé? Talvez já tenham explicado em algum lugar que eu não tenha visto; se for o caso, fico feliz com o link. --Oona (discussão) 15h41min de 25 de setembro de 2013 (UTC)
replies: text: Não fui notificado, . P1) O levantamento inclui todos os disparos dos filtros no período em análise. Se dispararam, é porque estavam ativos então a resposta é sim. P2) Boa pergunta. Respondendo rapidamente diria que todo filtro é projetado para detectar edições que precisam ser desfeitas/eliminadas (má fé) mas não é necessariamente para isto. Temos por exemplo o filtro 75 (salvamento sucessivo) que não tem ação alguma e no máximo rende um recado na PDU do sujeito. Tinha também o filtro 113 (página nova sem referência) que não tinha ações e sequer implicou numa ação da comunidade. Talvez fosse melhor ver na lista de filtros quais se dedicam exclusivamente ao combate de vandalismo e refazer a análise só com estes. O filtro 3 (conta nova removendo conteúdo) e o 68 (possivelmente ofensivo) são alguns que lidam com o benefício da boa fé. Mas aí seria uma pesquisa mais focada no vandalismo (que é a intenção, diga-se) do que uma genérica de filtros. OTAVIO1981 (discussão) 17h21min de 25 de setembro de 2013 (UTC)
replies: text: Obrigada, , pela explicação e pelo aviso de que não recebera a notificação. Imagino que agora receberá. É que eu, por erro, estava logada na conta pessoal, cujas preferências ainda informavam gênero (e a ferramenta não está funcionando para quem define gênero, com bug já registrado). Com exceção dos dias 11 e 14, o índice de ações realmente foi maior em agosto do que em julho, o que mostra que o trabalho de vocês nas melhorias dos filtros está surtindo efeito.--Oona (WMF) (discussão) 17h54min de 25 de setembro de 2013 (UTC)
replies: text: Sim, nos gráficos que gerei por aqui é possível notar uma diferença a partir de julho. Ainda não sei qual a melhor ferramenta para medir esta melhoria, alguém tem sugestões? E principalmente, o quanto ainda podemos melhorar? Tenho analisado o histórico de reversões do Salebot e de alguns reversores e a quantidade de vandalismo que poderia ser filtrada ainda é significativa então ainda há trabalho pela frente. Com os dados de reversão que o Henrique vai disponibilizar creio que seja possível ter uma idéia pois reversões de robôs e reversores muito ativos são das que mais contém erros básicos pois provém do monitoramento de mudanças recentes. OTAVIO1981 (discussão) 19h20min de 25 de setembro de 2013 (UTC)
replies: text: , fiz novamente a consulta retirando os filtros 3 e 75. Segue a tabela com os filtros e sem os filtros. A diferença é muito pequena e ainda é preciso aprimorar a análise.OTAVIO1981 (discussão) 18h27min de 26 de setembro de 2013 (UTC)
replies: text: Beleza, ! Tirei a variação das consultas com e sem os filtros 3 e 75 só de julho e agosto e publiquei aqui. No geral, as variações não são grandes - à primeira vista me pareceu que orbitariam em torno de 4% de forma consistente, mas em alguns dias do mês as variações são maiores. Inclusive, no dia 07, tem uma variação enorme. Se entendi bem, isso é bom. Significa que avaliando os filtros que impedem edições de má-fé o resultado é bem maior naquele dia do que a média com os demais. É isso mesmo?--Oona (WMF) (discussão) 15h27min de 27 de setembro de 2013 (UTC)

text:  A propósito, eu não consigo editar os filtros (e nem sei se me sinto segura para isso). Mas onde posso dar sugestões de acréscimo de expressões para cada um dos filtros? Há variações que não vi neles. Outra coisa: desculpe se isso já foi respondido em outro lugar, mas por que alguns filtros tratam das mesmas coisas mas estão separados (ex. conteúdo ofensivo - 18, 7, 112 e 70)? --Oona (WMF) (discussão) 15h27min de 27 de setembro de 2013 (UTC)
replies: text: , a discussão de cada filtro passou a ser feita em uma subpágina específica, cujo título é do tipo "Wikipédia:Filtro de edições/N" (exemplo: Wikipédia:Filtro de edições/56). Há mais detalhes na Wikipédia:Filtro de edições/Solicitações#Organização do espaço. Helder 16h32min de 27 de setembro de 2013 (UTC)

text: Ainda não temos um valor definido (pelo que me recordo), mas isso já foi mencionado brevemente pelo Kleiner em Wikipédia Discussão:Filtro de edições#Passos para criação de filtros e pelo Otávio em Wikipédia:Filtro de edições/Solicitações#Impacto das melhorias realizadas. (e possivelmente houve mais alguma discussão sobre isso, mas não lembro onde). Helder 16h32min de 27 de setembro de 2013 (UTC)

text: Entendeu corretamente a questão das variações. Em específico neste dia 7 houve muitos salvamentos no artigo UFC 162 que "diluíram" a eficiência geral. Ver aqui. É provável que exista outros casos o que só reforça que é melhor excluir mesmo estes dois filtros. Talvez o 68 que é de "potencialmente ofensivo" também deva ser excluído daqui pra frente pois ele agora funciona com uma margem considerável de detecções de boa fé. Sim você não pode editar filtros (só admins podem) mas pode relatar os casos mais frequentes em expressões problemáticas. Já fiz uma lista e o Helder está criando uma ferramenta para tentar montar uma base de dados maior a partir do salebot. A separação é feita por duas razões: ajuda na organização (o 112 é de testes de novas expressões, o 68 lida com expressões que podem ser de boa fé, e o 70 e 18 para exclusivamente de má fé) e impede que o filtro seja desativado automaticamente (se um filtro ultrapassar 5% num determinado período com X disparos, por questões de segurança é desativado). Então, dito isso, os filtros tem uma limitação e ainda não sei o quanto podemos alcançar e o investimento para chegar lá. Não pretendia escrever para o Correio enquanto outras questões não fossem resolvidas: aonde queremos chegar e de que maneira a comunidade pode ajudar. OTAVIO1981 (discussão) 16h25min de 27 de setembro de 2013 (UTC)

text: [conflito entre edições] O Kleiner separava os filtros pelo que explicou em Wikipédia Discussão:Filtro de edições#Fusão de filtros. Mas houve outro tópico mais recente sobre isso: Wikipédia:Filtro de edições/Solicitações#Filtros 06, 07, 18, 68 - Ofensas. Helder 16h32min de 27 de setembro de 2013 (UTC)
replies: text: , a ferramenta que o  mencionou permite-nos obter tabelas com as "palavras mais revertidas". Veja, por exemplo, as palavras mais comuns nas últimas edições revertidas pelo Stuckkey e pelo Salebot. Helder 17h43min de 29 de setembro de 2013 (UTC)

text: Bem lembrado, cláudio! Acho que vale a pena mantermos uma lista temporária dos filtros que quebraram para facilitar os expurgos. Remover os filtros que são usados para testes também é conveniente pois o 112 atualmente é somente para isto. Na próxima semana vou tentar automatizar estas estatísticas e se conseguir gero a tabela novamente.OTAVIO1981 (discussão) 22h18min de 27 de setembro de 2013 (UTC)
thread_title:  Análise estatística dos dados 

message: e , após longa consideração cheguei a conclusão que o ideal é desativar os filtros a medida que não forem mais úteis e criar novos (não reutilizando) a medida que for necessário. Mesmo se eventualmente tivermos uma lista com 300 filtros dos quais somente 100 são ativos não tem problema pois não sabemos do futuro e um filtro sem disparos hoje pode voltar a ter amanhã então o código já está praticamente operacional. Não estamos estourando muito o limite de condições mas penso que seja razoável trabalhar com algum número arbitrário para nos policiarmos a investir em eficiência até que tenhamos uma base concreta para estabelecer um ponto de corte real do que podemos alcançar. Imagino que um máximo de 100 filtros ativos seja mais do que suficiente (atualmente temos 82) e uma eficiência diária superior a 0,10% seja ótima pois resultaria em 10% de edições filtradas e como a ampla maioria é focada em IPs equivale a quase 40% do que os IPs editam. Conforme disse, 100 filtros ativos a 0,10% é arbitrário e um novo valor um método de apurar isso será ótimo.  e , algum comentário? OTAVIO1981 (discussão) 17h13min de 16 de outubro de 2013 (UTC)
replies: text: Já faz tempo que falamos sobre isso (não lembro onde - alguém tem um link fácil?), então não me recordo quais eram os argumentos a favor do reaproveitamento de filtros desativados (ou seja, contra sua proposta). Helder 17h30min de 16 de outubro de 2013 (UTC)
replies: text: Foi comentado em Wikipédia:Filtro_de_edições/Solicitações#Filtros_eliminados e em linhas gerais a reutilização seria porque os filtros são aplicado numa determinada ordem e uma das formas de maximizar a quantidade seria organizando pelo número de condições crescente.OTAVIO1981 (discussão) 17h50min de 16 de outubro de 2013 (UTC)
replies: text: Oi , excelente trabalho! Quero olhar a eficiência diária média dos filtros hoje para poder dar um palpite melhor. A propósito, os filtros com muito falsos positivos estão ativos? Fui olhar o 83 e diz que "Das últimas 4 093 ações, este filtro correspondeu com 0 (0,00%)". Isso significa que ele não está ativo e a análise foi feita com base no teste (não consigo fazer o teste). --Oona (WMF) (discussão) 16h17min de 17 de outubro de 2013 (UTC)
replies: text: , eu até consigo dizer quantas vezes um filtro disparou em determinado dia mas não tenho as quantidades de edições diárias então não dá para dispor da eficiência tão rapidamente. O melhor para o momento é olhar as versões anteriores desta segunda tabela e tentar fazer uma estimativa. A respeito do 83 ele está ativo mas hoje está "ineficiente" pois não foi disparado uma vez sequer. Com uma média de eficiência mensal dava para ter mais critérios em desativar e tentar novas melhorias (aka complexidade) para os que tem alguma eficiência. Estes valores que mencionei são arbitrários. O que tenho de concreto a dizer é que a eficiência total dos filtros (frente às edições) deve girar em torno de 7% com 82 filtros ativos (0,08% cada) . Talvez seja ousado pensar em elevar para 0,20% (arbitrário) a eficiência diária e um valor intermediário seja mais razoável.OTAVIO1981 (discussão) 17h02min de 17 de outubro de 2013 (UTC)

text:  para saber se um filtro está ativo ou não, é só conferir se a opção "" está marcada (logo abaixo do código do filtro). Helder 17h05min de 17 de outubro de 2013 (UTC)
thread_title:  Quantidade total de filtros e eficiência mínima para ativar.