que foram finamente ajustados ao longo de anos de expertise;3 - Analises de desempenho produzidas por cientistas de dados tendem a ser complexas, e e importante entende-las.Acostume-se com termos como taxa de falso-positivos, taxa de verdadeiro-positivos, precisao e F-Score, pois sao muito importantes no ajuste do modelo as necessidades especificas da suainstituicao. Duas das principais fontes de decepcao no uso de Machine Learning sao, justamente,as taxas de falso-positivos e de alertas. Capacidades preditivas sempre tem um custo.E frustrante implementar um algoritmo cujas referencias indicam um excelente desempenho e descobrir que ele esta exaurindo a sua capacidade operacional.Avaliar um modelo de Machine Learning com base em alguns exemplos nao representativos einjusto e pode levar a enganos. Bons modelos de ML sao avaliados pelo seu desempenho em testes estatisticos bem desenhados, utilizando amostras significativas de dados.Isso significa que a performance e avaliada executando o algoritmo varias vezes com um conjunto de big data que seja uma boa representacao do problema real.Quando estiver planejando a avaliacao de um modelo de Machine Learning, pergunte ao fornecedor como eles avaliaram o modelo e execute um processo valido com seus proprios dados. As organizacoes devem ser coerentes com as suas necessidades operacionais.Se um fornecedor afirma que um algoritmo tem uma taxa de falso-positivos de apenas 2%, faca o mapeamento considerando as proporcoes da operacao, ou seja, se voce alimentar o algoritmo com 1 milhao de eventos por dia, tenha em mente que cerca de 20.000 dos alertas diarios podem ser falso-positivos.4 - Os resultados nem sempre sao faceis de explicar O setor de seguranca cibernetica esta acostumado com regras, listas negras, fingerprints e indicadores de comprometimento. Por esse motivo, explicar porque um determinado alerta foi ativado e simples e natural.Modelos de Machine Learning identificam padroes em grandes conjuntos de dados, extrapolam respostas e fazem previsoes com base em composicoes nao triviais.Tudo isso torna muito dificil entender seu funcionamento interno. Muitos esforcos foram investidos para descobrir maneiras de explicar os resultados dos modelos de Machine Learning, mas esses sistemas avancados somente oferecem estimativas em termos de explicacoes interpretaveis, que nao podem ser seguidas ao pe da letra.Aplicados corretamente, modelos de Machine Learning podem aumentar, drasticamente, a capacidade de uma organizacao de combater ataques ciberneticos sofisticados, obtendo o maximo dos dados de seguranca e da inteligencia de ameacas.Porem, e preciso estar preparado para evoluir rapidamente. Nossos adversarios possuem mentes habilidosas, e, a cada dia, tornam-se mais competentes em entender como Machine Learning funciona e em elaborar tecnicas para driblar as defesas mais avancadas. Machine Learning pode melhorar ao longo do tempo se as organizacoes permitirem que essas ferramentas evoluam utilizando dados atualizados.A configuracao operacional deve sempre acompanhar os sucessos e as falhas nas previsoes do modelo para que ele possa se adaptar e evoluir rapidamente.Javier Vargas e gerente de pesquisas na Easy Solutions http://cio.com.br/tecnologia/2017/02/23/desfazendo-mal-entendidos-sobre-machine-learning/Sao equivocos comuns que devem ser esclarecidos antes da adocao, especialmente na area de seguranca - See more at: http://cio.com.br/tecnologia/2017/02/23/desfazendo-mal-entendidos-sobre-machine-learning/#sthash.VDbDpRDY.dpufSao equivocos comuns que devem ser esclarecidos antes da adocao, especialmente na area de seguranca - See more at: http://cio.com.br/tecnologia/2017/02/23/desfazendo-mal-entendidos-sobre-machine-learning/#sthash.VDbDpRDY.dpufJavier Vargas *Publicada em 23 de fevereiro de 2017