Package: querido-diario-toolbox
Português (BR)|English (US)ToolboxDentro doecossistema do Querido Diário, este repositório disponibiliza umabibliotecacom o ferramental para que a comunidade possa fazer suas próprias análises e manipulações com os recursos do projeto.A biblioteca oferece diferentes níveis de abstrações para trabalhar os dados, desde uma simples limpeza de texto até conversão de diferentes formatos de arquivo para texto puro.Conheça mais sobre astecnologiase ahistóriado projeto nosite do Querido DiárioSumárioComo contribuirComo executarExemplos de usoSuporteAgradecimentosOpen Knowledge BrasilLicençaComo contribuirAgradecemos por considerar contribuir com o Querido Diário! :tada:Você encontra como fazê-lo noCONTRIBUTING.md!Além disso, consulte adocumentação do Querido Diáriopara te ajudar.Como executarPara utilizar aquerido-diario-toolboxé necessário terPython(3.8+) instalado, além deTesseract OCR, os.jardeApache Tika(v1.24.1+) eTabula(v1.0.4+).Para instalar a bibliotecaquerido-diario-toolboxbasta abrir um terminal e executar o seguinte comando:$pipinstallquerido-diario-toolboxPara usar, importe a biblioteca em seu código em Python.Exemplos de usoExemplos mais elaborados estão disponíveis na pasta./examples. Você pode visualizá-los (e interagir se desejar) utilizando notebooksJupyter.Removendo espaços desnecessários em um textoIn[1]:fromquerido_diario_toolbox.process.text_processimportremove_breaksIn[2]:texto="\n\n\nEste texto tem vários      espaços em branco\n\n\ndesnecessários.\n"In[3]:remove_breaks(texto)Out[3]:'Este texto tem vários espaços em branco desnecessários.'Encontrando CNPJs válidos em um textoIn[1]:fromquerido_diario_toolbox.process.edition_processimportextract_and_validate_cnpjIn[2]:texto="As empresas de CNPJ válidos 00.000.000/0001-91 e 00.360.305/0001-04 existem mas a de CNPJ 12.123.123/1234.12 não existe..."In[3]:extract_and_validate_cnpj(texto)Out[3]:['00.000.000/0001-91','00.360.305/0001-04']Convertendo arquivo de formato fechado para texto puro e extraindo metadadosIn[1]:fromquerido_diario_toolboximportGazette...:fromquerido_diario_toolbox.etl.text_extractorimportcreate_text_extractorIn[2]:config={"apache_tika_jar":"caminho/apache/tika/jar/tika-app-1.24.1.jar"}...:extrator=create_text_extractor(config)In[3]:diario=Gazette(filepath="caminho/diario/fechado/diario.pdf")In[4]:extrator.extract_text(diario)...:extrator.extract_metadata(diario)...:extrator.load_content(diario)Após a execução deextrator.load_content(diario), dois arquivos (um.txtcom o texto puro e um.jsoncom os metadados) serão criados.Saiba mais: Informações completas da bibliotecaquerido-diario-toolboxacesse suadocumentaçãoSuporteIngresse em nossocanal de comunidadepara trocas sobre os projetos, dúvidas, pedidos de ajuda com contribuição e conversar sobre inovação cívica em geral.AgradecimentosEste projeto é mantido pela Open Knowledge Brasil e possível graças às comunidades técnicas, àsEmbaixadoras de Inovação Cívica, às pessoas voluntárias e doadoras financeiras, além de universidades parceiras, empresas apoiadoras e financiadoras.Conheçaquem apoia o Querido Diário.Open Knowledge BrasilAOpen Knowledge Brasilé uma organização da sociedade civil sem fins lucrativos, cuja missão é utilizar e desenvolver ferramentas cívicas, projetos, análises de políticas públicas, jornalismo de dados para promover o conhecimento livre nos diversos campos da sociedade.Todo o trabalho produzido pela OKBR está disponível livremente.LicençaCódigo licenciado sob aLicença MIT.