thegoodfellas/blogset-br huggingface dataset:
Suponha a seguinte cena. Um paciente ouve o diagnostico do medico sobre os exames para verificar se tem cancer ou nao. O medico diz: "Pelos seus exames nao da para dizermos com certeza se e cancer ou nao. Na duvida, vou jogar uma moeda. Se der cara, voce tem cancer!".Isso e o que mandava fazer um certo livro de estatistica...Ferramentas para tomar decisoesEstatistica dispoe de varias ferramentas para lhe ajudar a tomar decisoes. Uma delas, e talvez a mais conhecida, e o teste de hipotese.O teste nos diz que a um certo nivel, digamos 0.05 (5%), rejeitamos a hipotese se o p-valor der abaixo deste nivel. Mas, e se o meu p-valor for 0.048? 0.051? Devo seguir a regra a risca e rejeitar a hipotese para qualquer valor abaixo de 0.05, mesmo se for 0.0499? Uma solucao para isso seria considerar a regra.se p-valor < 0.045, rejeito a hipotese.se p-valor > 0.060, nao rejeito a hipotese.se p-valor estiver entre 0.045 e 0.060, aleatorizo jogando uma moeda para decidir se rejeito ou nao.Voltando ao exemplo do inicio deste post, imagine que temos um grafico com uma reta que o divide em duas partes. O exame, digamos, coloca um ponto neste grafico. De um lado o diagnostico e cancer, do outro nao e quanto mais longe da reta maior a certeza sobre isso. Mas e se o ponto for bem proximo da reta? Jogamos uma moeda para decidir se o paciente tem cancer ou nao?!Avalie a importancia de sua decisaoE logico que decisoes que envolvem saude ou ate mesmo a vida de alguem nao sao tomadas assim. Porem, e importante saber qual o peso de sua decisao e qual a influencia dela. No exemplo acima, a solucao seria buscar um exame mais preciso ou ate mesmo fazer outro, mas nunca tomar uma decisao neste caso.Quando nos encontrarmos nesta indecisao, procure mais informacao. Como? Coletando mais amostras. E mais custoso, mas se a decisao for importante valera a pena. Melhor gastar para ter certeza do que gastar para consertar o erro da tomada errada. Se ainda assim nao quiser ter muito custo, realize o exame ou amostragem novamente. So nao deixe que uma moeda tome uma decisao importante por voce. Ninguem gosta da interface padrao do R. Fato! Apesar de ser bem simples e facil de utilizar (sabendo a liguagem, logico!), a interface monotona nao e muito boa quando escrevemos uma biblia de codigos para determinado trabalho.Interface padrao do R.Para trabalhos simples e rapido, como falei, o R e bem pratico. No entanto, quando precisamos fazer projetos e passar mais tempo no software, sua interface se torna de dificil compreensao. Mesmo que usemos um script para organizar nossos codigos, o preto e branco da fonte torna o algoritmo dificil de ler, pesado, fazendo com que tenhamos que usar varios ##### para chamar atencao de algo importante. Uma alternativa e usar algum integrated development environment, os chamados IDE.IDE e um ambiente que facilita o desenvolvimento de codigos para softwares como o R. Eles tem uma interface mais amigavel, com cores e executam o comando e saidas
no mesmo lugar.Eu utilizo o RStudio, IDE que achei mais pratica ao Tinn-R e R-Commander e tambem por ter no Linux, onde trabalho maior parte das vezes. Os motivos estao abaixo:Codigos coloridos e de facil identacaoA todo momento eu preciso voltar ao codigo para arrumar alguma coisa ou apenas copiar algo que ja fiz. Em um texto todo em preto e branco e sem identacao era quase impossivel em projetos feitos no R. Com o RStudio, o codigo ganha cores em funcoes, comentarios e numeros, facilitando muito nossa vida. Alem disso, para identar todo um paragrafo basta seleciona-lo e apertar Tab.Exemplo de codigo no RStudioAutocompleta funcoes e atalhosQuando voce comeca a escrever muito e por muito tempo, quanto mais ferramentas para lhe poupar e poder gastar energia em outras coisas, melhor! No RStudio, ao comecar a escrever uma funcao e apertar Tab, o software lhe da varias opcoes para completar o que comecou. E isso tambem vale para escrever conjuntos de dados armazenados tambem.Armazene seus plots e saidasO canto inferior direito da tela e dedicado aos seus graficos e saidas. O R padrao tambem armazena os graficos, mas e um pouco mais complicado e nao muito intuitivo. Com o RStudio, voce pode fazer quantos graficos quiser sem se preocupar em ter que rodar os anteriores novamente, caso precise.E gratis, como o RSe fosse pago, eu nem me preocuparia com ele, rs. E gratis e de facil instalacao, inclusive para usuarios de Ubuntu e Fedora. Portanto, se voce tem o R presente na sua vida de estatistico(a), fica a dica para melhorar sua experiencia com o software.
Atire a primeira pedra na minha cabeca quem nunca sentou ao lado de alguem mala em uma viagem de onibus. Seja o gordinho espacoso, o folgado que rouba seu braco da poltrona e ainda te da cotovelada, o tio que ronco e baba pro seu lado ou a mae que nao sabe controlar o filho que nao para na cadeira.Esse povo, por alguma forca oculta da natureza, costuma se concentrar o mais proximo do motorista possivel. Tanto que ao entrar em um onibus, sempre temos a impressao de estar em uma excursao da terceira idade ate vermos alguem nao-idoso mais ou menos pelo meio, onde eu costumo me sentar.Idosos sentados perto do motorista. Algo tao certo quanto o sol nascer no dia seguinte.Se ha um padrao observado, podemos fazer um modelo para descrever sua variabilidade, certo? Pois bem! Suponha que queremos modelar a probabilidade da sua viagem ser sofrida, com a presenca de alguem que ira lhe incomodar ao seu lado desde a partida ate depois que descer. Usando um linguajar mais estatistico, queremos modelar a probabilidade p de uma distribuicao Bernoulli de sua viagem ter ou nao alguem lhe incomodando. Quem tem uma nocao de regressao logistica e capaz de ajustar este modelo. As variaveis explicativas (ou independentes ou explanatorias ou covariaveis) que irao contribuir para sua resposta sera sua posicao e caracteristicas das pessoas que sentam ao seu redor.Sua posicao no onibusComo mencionei, quanto mais perto do motorista, maior a probabilidade de encontrar alguem que ira lhe incomodar. Portanto e esperado que a variavel posicao seja altamente significativa e tenha um alto efeito proporcional a proximidade de sua poltrona do motorista.Idade Jovens tendem a ser mais reservados, passar toda a viagem em seus celulares/tablets/iPods e nao lhe dizer mais que um oi, por pura educacao. Idosos nao tem muita familiaridade com tecnologia e sao mais conversadores. Muitos, inclusive, tem dificuldade de passar o tempo na viagem e a conversa lhe e a unica alternativa para se distrair um pouco. Por isso, se voce gosta de viajar em silencio, a variavel idade possui um efeito proporcional ao quao mais velho sao as pessoas ao seu redor.Possui crianca ou naoEsta e uma variavel dummy ou categorica. Criancas sao isentas de culpas porque sao sempre cheias de energia e passar horas parada lhes parece uma tortura. No entanto, pode acabar sobrando pra voce ter que ouvir uma criancas chorando e uma mae/pai brigando e perdendo a cabeca. Dai, o fato de possuir uma crianca deve aumentar consideravelmente a probabilidade de sua viagem ser um parto (tendeu? rs).Possui algum aparelho eletronico ou naoUma variavel categorica como acima. So que dessa vez, possuir um aparelho eletronico, seja um iPod, celular, tablet ou qualquer coisa que distraia o passageiro; diminui consideravelmente as chances dessa pessoa lhe incomodar. E bem provavel que ela fique na dela durante todo o caminho, sem nem mesmo notar sua presenca.Gordeenho ou naoE maldade com os gordinhos, mas o que vou dizer aqui e um fato que observo, apesar de conhecer varias pessoas acima do peso que sao super gente boa. Essa
grandes pessoas tendem a ocupar muito espaco e se incomodam demais com o que lhe e proporcionado pela poltrona. Se mexem, roubam o braco do meio da poltrona, reclamam, sentem muito, mas muito calor reclamam e reclamam. Entendo a dificuldade que passam, mas isso pode ser um incomodo para quem esta do lado. Fora que quando conseguem cair no sono, a chance de roncarem e grande.Concluindo, nao cheguei a coletar dados sobre esse assunto, so observei, mas e um modelo razoavel de se pensar. Faca a experiencia e observe tambem na proxima viagem.
Ronald Aylmer Fisher, um dos maiores genios da historia da ciencia recente e considerado por muitos o pai da estatistica, desenvolve em uma tarde com amigos um simples exemplo de delineamento de experimentos (ou design de experimentos, para os que gostam de abrasileirar). A historia que e contada quase como uma lenda entre os estatisticos foi publicada pelo proprio Fisher em seu classico livro The Design of Experiments e conta a historia de uma senhora que jurava que conseguia diferenciar se o leite era posto antes ou depois do cha. Intrigado, Fisher elaborou um experimento para verificar a habilidade da senhora e seu desenrolar e contado a seguir.Como um bom ingles, Fisher se reuniu com seus amigos para tomar um cha ao fim de uma bela tarde nublada tipica da Inglaterra. Durante a conversa, uma senhora, ninguem menos que Muriel Bristol, diz que consegue diferenciar se o leite e posto antes ou depois do cha. Teimoso, Fisher duvida e propoe o seguinte teste. 8 xicaras de cha serao utilizadas, sendo 4 em que o leite foi posto antes e 4 em que o leite foi posto depois. A senhora ira experimentar cada uma das xicaras em ordem aleatoria e devera selecionar quais sao os chas em que o leite foi colocado primeiro. Se a senhora conseguir acertar todas as xicaras, Fisher estara convencido de que ela realmente sabe diferenciar a ordem em que e posto o leite.Em termos estatisticos, a historia tem elementos de aleatorizacao e delineamento de um experimento simples. A hipotese nula define que a senhora nao tem a habilidade de diferenciar se o leite e posto antes ou depois. Ou seja, a chance dela acertar e um mero acaso, a mesma de jogar uma moeda. Fisher definiu o nivel do teste em 5%. Lembrando que temos 8 xicaras no total e ela deve selecionar 4, temos 70 combinacoes possiveis. Utilizando um pouco de inferencia, a regiao critica deve ser definida de forma que a probabilidade de a senhora acertar certo numero de xicaras ou mais seja menor que o 5% definido. Na tabela abaixo temos as probabilidades dos eventos possiveis. Note que a probabilidade de acertar 3 ou mais e de 17/70 (16/70 + 1/70), ou seja, 0.2428. Por outro lado, a probabilidade de acertar as 4 e de 1/70 = 0.0143 < 0.05. Portanto, a regiao critica selecionada foi: Se a senhora acertar as 4 xicaras com leite colocado antes, entao temos evidencias para dizer que sua probabilidade de acertar nao e um mero acaso, ou seja, ela possui essa habilidade inutil. Numero de acertos (X) Combinacoes possiveis Pr(X = x) 0 1 1/70 1 16 16/70 2 32 32/70 3 16 16/70 4 1 1/70 Em apenas uma conversa Fisher mostrou aos seus colegas toda sua genialidade a respeito de sua teoria em planejamento de experimentos: a aleatorizacao das xicaras, a definicao do nivel do teste antes de coletar os dados, o planejamento e suas conclusoes. Alem disso, dizem que Bristol acertou todas as quatro xicaras... 1. O curso e realmente dificil (pra car***)Foi facil de entrar,
mas e muito dificil de sair. E um curso de exatas e quase uma ciencia basica, como matematica, fisica e quimica. A carga teorica e grande pois na estatistica temos resultados fortes que a tornaram uma ciencia fundamental para o mundo tanto academico quanto corporativo. Prepare-se para disciplinas de probabilidade, inferencia, calculo e etc. E dificil, mas e bem legal quando tudo comeca a fazer sentido (o que vai demorar uns meses).2. Voce nao e o genio que imaginaNao chegue achando que voce e o melhor da turma e que manja muito de matematica. Todos que ingressaram com voce provavelmente foram os melhores de matematica de suas turmas. A verdade dura e que voce nao sabe nada de matematica. O que aprendemos no ensino medio nao e nem 0,1% de todo o conhecimento de matematica. Claro que sem ele voce nem ingressaria na universidade, mas o calculo, que e considerado a matematica basica do ensino superior, esta a um abismo de distancia do que voce viu na escola. A partir da primeira aula de calculo com todos aqueles epsilons e deltas todos sao iguais. 3. Reclamar nao vai aumentar sua notaVoce ja viu um juiz voltar atras apos marcar um penalti porque o time adversario reclamou muito? Eu nunca vi. E tambem nunca vi o desempenho de alguem melhorar depois de passar horas nas mesinhas do IMECC reclamando do curso, enquanto poderia estar gastando essa energia estudando ou fazendo algo de util. Uma pratica infelizmente muito comum e certamente prejudicial. Por experiencia propria eu garanto: e muito melhor aceitar que errou e que voce nao se esforcou o suficiente do que passar os proximos dias falando mal do professor e dizendo que a prova tava foda.4. Professores nao sao seus inimigosFalando em professor, eles estao na universidade para passar seu conhecimento. A aula pode nao ser a atividade preferida deles, assim como pode nao ser a sua tambem, mas voces tem que conviver juntos. E e melhor que seja em harmonia pois eles tem um poder muito grande sobre voce que e a sua nota. E nao tem nada mais desagradavel do que ter que conviver com quem voce nao gosta. Entao nao faca deles seus inimigos e passe a enxergar como alguem que pode ajudar a construir seu conhecimento para que no futuro possa exercer a profissao de estatistico. Voce vera que tem muita gente boa em seu instituto.5. Divirta-se, mas cuidado com as distracoes desnecessariasO que nao vai faltar durante sua graduacao sao distracoes desnecessarias. Voce nao precisa vestir uma burca e se enfiar na biblioteca 24h por dia, ate porque isso nao e muito recomendado e nao costuma trazer melhores resultados. Ir a algumas chopadas no inicio do semestre e saudavel, voce conhece muita gente bacana e se diverte um bocado. So tome cuidado pra nao deixar as distracoes (festa, videogame, bar, empresa junior, etc.) tomarem todo o seu tempo.6. Ler o livro antes da prova nao ajuda em quase nadaPor mais cliche que seja, nao deixar as coisas para a ultima hora e um otimo conselho. O conhecimento
e construido aos poucos e atraves da pratica. Pratica e fazer exercicios. Um exemplo bem bacana e o seu corpo na academia. A prova e o objetivo de levantar um supino de 80kg daqui algumas semanas e hoje voce levanta 40kg. Ver seu instrutor levantar os 80kg uma semana antes nao vai levar voce a fazer o mesmo a nao ser que venha praticando aos poucos ate atingir seu objetivo.7. E o grande segredo pra se dar bem no curso e...Estudar! Mas nao deixe isso virar uma pratica chata ou neurotica. Aproveite seu periodo de calouro/bixo/ingressante, ingresse em alguma organizacao sem fins lucrativos, faca novos amigos e divirta-se. Sera um dos melhores periodos da sua vida :)Gostou? Talvez voce tambem queira saber como e o mercado de trabalho para o estatistico. Doris Fontes, presidente do Conselho Regional de Estatistica da 3a regiao, nos deu uma entrevista bem bacana.
Nao, a probabilidade nao foi criada pelos gregos! (Pelo menos isso).Na verdade, os gregos poucos se importavam com isso. Probabilidade na antiguidade se confundia com prever o futuro, algo inaceitavel na Grecia antiga. Para eles, o futuro estava nas maos dos deuses. Ou seja, se voce jogou dois dados e a soma deu 8, isso nao quer dizer que foi um fato aleatorio, mas sim porque os deuses determinaram assim.Inclusive, o povo daquela epoca usava eventos aleatorios como jogar algo que se parece com dados para interpretar a vontade dos deuses. Por isso, probabilidade nao foi algo estudado pelos grandes matematicos geometras gregos, pois seria ir contra a palavra divina.A probabilidade veio a ser melhor estudada pelos romanos, cerca de 100 a.C., fortemente defendida por Cicero, politico e filosofo romano. Quem e estatistico no Brasil, formado ou graduando, alguma vez na vida conheceu ou ira conhecer em breve a Doris Fontes, atual presidente do CONRE-3! Doris e conhecida de Porto Alegre ate Manaus pelo seu trabalho de divulgacao da nossa querida profissao de estatistico. Recentemente tive a oportunidade de conversar com ela e perguntei se poderia nos dar a honra de falar um pouco sobre seu conhecimento do mercado de trabalho para o estatistico hoje no Brasil. Sempre muito gentil e atenciosa, Doris aceitou o convite e o resultado segue na integra abaixo. Se voce e ingressante do curso de estatistica, confira tambem 7 dicas especialmente pra voce.1) O que todos querem saber: estatistico realmente ganha bem?Nao tenho nenhuma pesquisa formal feita, mesmo porque quase ninguem gosta de citar quanto ganha, mas, atraves de anuncios de vagas e conversas informais, da para notar que o salario do Estatistico Jr e relativamente bom, comparado a varias outras profissoes. Aqui na capital de SP comeca em geral em torno de R$ 4000-4500 no setor financeiro (que inclui bancos e cartoes de credito, por exemplo) e empresas grandes de pesquisa de mercado. Nos demais segmentos, quanto maior a complexidade da funcao e qualidade do estatistico, os salarios tambem sobem de acordo. Ha segmentos novos, como os de BIG DATA, cuja utilidade esta despontando como novidade em quase todos os tipos de empresas do Brasil, e do mundo, que ainda e um misterio para o estatistico. Estatisticos com boa formacao e partindo para a area de analytics pode encontrar salarios de R$10-15 mil facilmente.2) Todos os meus colegas estatisticos estao muito bem empregados. Qual a sua visao do mercado de trabalho pro estatistico recem formado hoje?O mercado para estatistico e amplo hoje e continuara amplo por muito tempo. Os estatisticos que se formam hoje nao conseguem preencher sequer 50% das vagas que anunciamos no StatJobs (facebook do CONRE-3), imagine daqui a alguns anos o tamanho do deficit de mao de obra estatistica. Formamos hoje menos de 500 profissionais por ano no Brasil todo. Isso e muito pouco. Assim, os estatisticos que se formam hoje tem um vasto mercado para escolher sua vaga. Mas, ao mesmo tempo em que ha espaco, as vagas estao se sofisticando, exigindo mais conhecimento do estatistico. Por isso, a boa formacao e
Acabou seu experimento e tem aquela penca de dados para analisar. O que fazer? Olhar cada linha no Excel nao e a opcao mais inteligente quando temos muitos dados. Mesmo um numero nao muito grande, como 20 observacoes, ja e complicado de se ter uma ideia do comportamento dos meus dados. E como faco para comparar visualmente minhas variaveis entre os grupos? Todas essas questoes sao resolvidas com ferramentas visuais basicas para analisar uma variavel.Quando devo usar um histograma?Se a sua variavel tem um numero razoavel de observacoes (umas 30, por exemplo) e e de natureza quantitativa/continua, o histograma pode ser uma boa opcao. Se voce tem grupos que subdividem sua variavel, entao e interessante fazer um histograma por grupo.O histograma lhe da uma ideia da distribuicao de probabilidade ou densidade de seus dados. Se voce nao sabe o que e distribuicao de probabilidade, lembro-lhe que a Normal (Gaussiana ou grafico de sino) e uma distribuicao de probabilidade. Se o histograma de sua variavel tem aquela forma de simetrica de um sino e um indicio de que a distribuicao dessa variavel analisada ser uma Normal. Porem, nao tire conclusoes precipitadas, para ter certeza da normalidade use um teste de hipotese como o Shapiro-Wilk.Quando devo usar um boxplot?Ha um tempinho eu escrevi sobre os boxplots e voce pode conferir o post completo clicando aqui.Assim como no caso dos histogramas, se voce tem um numero razoavel de observacoes quantitativas/continuas, mas tem varios grupos a serem analisados, os boxplots podem ser uma ferramenta muito util.O boxplot e a maneira mais rapida e pratica de visualizar a distribuicao de uma variavel entre grupos. No R, por exemplo, em uma linha voce ja consegue plotar o grafico.boxplot( variavel ~ grupo , data = cnjt.dados )O resultado desse grafico e uma ferramenta visual pratica que lhe permite avaliar, por exemplo, se os grupos possuem a mesma distribuicao ou se estao concentrados em torno de uma mesma media ou mediana. Lembrando que essa e uma ferramenta visual e que conclusoes sobre a diferenca entre os grupos devem ser tiradas atraves dos testes de hipotese.E quando tenho poucos dados?Em 99,99999% dos casos nao temos um orcamento digno para realizar um censo ou ate mesmo coletar uma amostra de tamanho razoavel. Mas fique tranquilo que ha ferramentas graficas para tambem visualizar poucas observacoes, como o dotplot ou grafico de pontos.A ideia e bem simples: espalhar os dados pelo graficos para visualizar sua distribuicao, como na figura abaixo.Assim, o pesquisador tambem tem a oportunidade de avaliar se os grupos tem a mesma distribuicao e etc.Por que nao utilizar histograma ou boxplots para poucos dados?Na figura acima vemos a mesma variavel com 10 observacoes analisada nas tres ferramentas graficas postadas aqui. Note que o histograma e pouco informativo e o boxplot ate lhe da uma bos ideia da distribuicao dos dados, mas nao sabemos se temos muito ou pouca informacao dentro da "caixa". Observe que o dotplot lhe da a visualizacao exata dos dados, pois cada ponto e uma observacao.A variavel utilizada foi uma simulacao de 10 observacoes provenientes de uma normal padrao.
Lancado nesta quinta-feira (12), o iPobre - primeiro tablet brasileiro para o povo pobre - chega ao mercado custando apenas R$ 9,99. Com o slogan porque tecnologia tambem e para pobre, o iPobre promete facilitar a vida do brasileiro, com varios recursos tecnologicos que vao, desde aplicativos do Bolsa Familia a programas para receber doacoes online, o aparelho promete ser uma inovacao para mudar o Brasil e a forma do povo pensar.O iPobre tambem mantem o usuario informado com as manches do Pobre News. Alem disso, conta com um aplicativo que permite ao dono do tablete, fazer a compra de creditos para a carteirinha do vale transporte, tudo online sem sair de casa. Veja imagem do iPobre: O iPobre tambem tem previsao do tempo, para informar se o usuario deve, ou nao, sair de casa sem guarda-chuva; tem tambem anotacoes de dividas e servico de busca de restaurantes self-service com precos acessiveis, bem como de lojas com descontos e promocoes. Tambem esta incluso no tablete um aplicativo para o internauta procurar emprego. O iPobre veio para revolucionar a tecnologia em favor do pobre, porque pobre tambem merece desfrutar da tecnologia, disse o criador do Tablet. A banana mordida e o simbolo do iPobre. O criador explica o motivo: Maca e fruta de rico; pobre come banana. Nada mais justo que a logomarca seja um objeto que represente bem o seu publico, disse. Este ano eu minha esposa fomos prestigiar o desfile da Rainha do Esporte Clube Sao Lourenco, o nome dela e Rafaela Lobato, foi uma apresentacao digna de coroacao.Abaixo segue video de sua apresentacao em Sao Lourenco do Sul.O video abaixo mostra sua apresentacao na avenida do samba da cidade.Prestem atencao neste nome porque voce ainda vai ouvir falar muito desta garota. Lembrando que para toda acao sempre vai existir uma reacao, so que ele esqueceu desta ultima parte e ai... Dois anos atras, em um dos zoologicos da Russia, uma chipanze femea por alguma razao rejeitou seu filhote. Quando um dos empregados do Zoo levou o pequeno chipanze para a sua residencia, nunca imaginou que sua cachorra, se tornaria a mae do chipanze orfao, e trataria o lindo bebe como um de seus filhotes.Seguem fotos que mostram o pequeno com sua nova mae...(para melhor visualizar clique nas imagens) Esse mini Gol foi produzido pela Volkswagen para o casal que trabalha no Beto Carrero.(para melhor visualizacao cclique nas imagens) Ela falou tudo o que eu penso e acho da "festa do povo brasileiro"... O Blog estava um tanto que parado em relacao as atualizacoes mas...Ele voltou com tudo!A prova disso e que estou hoje usando ele para ajudar um cidadao a encontrar uma companheira.Nao entendeu ainda?Entao veja o anuncio que este camarada colou por toda a cidade Pelotas:(para melhor visualizar clique nas imagens abaixo)O blog entrou em contato com esse cidadao e confirmou que nao e uma brincadeira, entao por favor pessoal vamos levar isso a serio!!!Te desejo muita boa sorte na tua procura e que mantenhas o Blog informado se encontrares alguem com a ajuda desta postagem solidaria. Foi feito