Data Engineering | DatabricksSkip to main contentPlataformaDatabricks Lakehouse PlatformDelta LakeGovernança de dadosData EngineeringStreaming de dadosArmazenamento de dadosData SharingMachine LearningData SciencePreçosMarketplaceTecnologia de código abertoCentro de segurança e confiançaWEBINAR Maio 18 / 8 AM PT
Adeus, Data Warehouse. Olá, Lakehouse.
Participe para entender como um data lakehouse se encaixa em sua pilha de dados moderna.
Inscreva-se agoraSoluçõesSoluções por setorServiços financeirosSaúde e ciências da vidaProdução industrialComunicações, mídia e entretenimentoSetor públicoVarejoVer todos os setoresSoluções por caso de usoAceleradores de soluçãoServiços profissionaisNegócios nativos digitaisMigração da plataforma de dados9 de maio | 8h PT
 
Descubra a Lakehouse para Manufatura
Saiba como a Corning está tomando decisões críticas que minimizam as inspeções manuais, reduzem os custos de envio e aumentam a satisfação do cliente.Inscreva-se hojeAprenderDocumentaçãoTreinamento e certificaçãoDemosRecursosComunidade onlineAliança com universidadesEventosData+AI SummitBlogLaboratóriosBeaconsA maior conferência de dados, análises e IA do mundo retorna a São Francisco, de 26 a 29 de junho. ParticipeClientesParceirosParceiros de nuvemAWSAzureGoogle CloudConexão de parceirosParceiros de tecnologia e dadosPrograma de parceiros de tecnologiaPrograma de parceiros de dadosBuilt on Databricks Partner ProgramParceiros de consultoria e ISPrograma de parceiros de C&ISSoluções para parceirosConecte-se com apenas alguns cliques a soluções de parceiros validadas.Saiba maisEmpresaCarreiras em DatabricksNossa equipeConselho de AdministraçãoBlog da empresaImprensaDatabricks VenturesPrêmios e reconhecimentoEntre em contatoVeja por que o Gartner nomeou a Databricks como líder pelo segundo ano consecutivoObtenha o relatórioExperimente DatabricksAssista às DemosEntre em contatoInício de sessãoJUNE 26-29REGISTER NOWData EngineeringDezenas de milhões de cargas de trabalho produtivas são executadas diariamente no DatabricksIntroduçãoAssista à demonstração
WEBINAR • Goodbye, Data Warehouse. Hello, Lakehouse.
Attend on May 18 and get a $100 credit toward a Databricks certification course
Register nowIngira e transforme facilmente dados em batch e streaming na Plataforma Databricks Lakehouse. Orquestre fluxos de trabalho de produção confiáveis enquanto a Databricks gerencia automaticamente sua infraestrutura em escala. Aumente a produtividade de suas equipes com testes de qualidade de dados integrados e suporte às melhores práticas de desenvolvimento de software.Unifique batch e streamingElimine silos em uma plataforma com uma API unificada para ingerir, transformar e processar dados em batch e streaming de forma incremental em escala.Foque em extrair valor dos dadosA Databricks gerencia automaticamente sua infraestrutura e os componentes operacionais de seus fluxos de trabalho de produção para que você possa se concentrar no valor, não nas ferramentas.Conecte suas ferramentas de escolhaUma Plataforma Lakehouse aberta para se conectar e usar suas ferramentas preferidas de engenharia de dados para ingestão de dados, ETL/ELT e orquestração.Conte com a Plataforma LakehouseA Plataforma Lakehouse fornece a melhor fundação para construir e compartilhar ativos de dados confiáveis que são governados centralmente, confiáveis e extremamente rápidos."A Databricks está se tornando o recurso completo para todo o nosso trabalho de ETL. Quanto mais trabalhamos com a Plataforma Lakehouse, mais fácil é para os usuários e administradores."— Hillevi Crognale, gerente de engenharia da YipitDataComo funciona?Ingestão simplificada de dadosProcessamento automatizado de ETLOrquestração confiável de fluxos de trabalhoMonitoramento e observabilidade de ponta a pontaMotor de processamento de dados de última geraçãoFundação de governança, confiabilidade e desempenhoIngestão simplificada de dadosConsuma dados em sua Plataforma Lakehouse e potencialize suas análises, IA e aplicações de streaming de um só lugar. O Auto Loader processa de forma incremental e automática os arquivos que chegam ao armazenamento de nuvem, sem a necessidade de gerenciar informações de estado, em jobs programados ou contínuos. Ele rastreia com eficiência novos arquivos (escalando para bilhões) sem ter que listá-los em um diretório e também pode inferir automaticamente o esquema dos dados de origem e evoluí-lo conforme as mudanças ao longo do tempo. O comando COPY INTO facilita para analistas operarem a ingestão de arquivos em batch para o Delta Lake com SQL."Vimos um aumento de 40% na produtividade da engenharia de dados - reduzindo o tempo que leva para desenvolver novas idéias de dias para minutos e aumentando a disponibilidade e a precisão de nossos dados."— Shaun Pearce, diretor de tecnologia, GoustoSaiba maisProcessamento automatizado de ETLUma vez ingeridos, os dados brutos precisam ser transformados para que fiquem prontos para análise e IA. A Databricks fornece poderosos recursos ETL para times de engenharia, ciência e análise de dados com Delta Live Tables (DLT). DLT é a primeira estrutura que utiliza uma abordagem declarativa simples para construir pipelines ETL e ML em batch ou streaming de dados, enquanto automatiza complexidades operacionais tais como gerenciamento de infraestrutura, orquestração de tarefas, tratamento e recuperação de erros, e otimização de desempenho. Com as DLTs, a equipe de engenharia também pode tratar seus dados como código e aplicar as melhores práticas de engenharia de software como testes, monitoramento e documentação para criar pipelines confiáveis em escala.Saiba maisOrquestração de fluxos de trabalho confiávelOs fluxos de trabalho Databricks são o serviço de orquestração totalmente gerenciado para todos os seus dados, análises e IA nativos da sua Plataforma Lakehouse. Organize cargas de trabalho diversas em todo o ciclo de vida, incluindo Delta Live Tables e Jobs para SQL, Spark, notebooks, dbt, modelos de ML e muito mais. A integração profunda com a Plataforma Lakehouse garante que você crie e execute cargas de trabalho de produção confiáveis em qualquer nuvem e, ao mesmo tempo, forneça monitoramento profundo e centralizado com simplicidade para usuários finais.“Nossa missão é transformar a forma como alimentamos o planeta. Nossos clientes do setor de energia precisam de dados, consultoria e pesquisas para alcançar essa transformação. O Databricks Workflows nos dá a velocidade e a flexibilidade para fornecer os insights de que nossos clientes precisam.”— Yanyan Wu, vice-presidente de dados, Wood MackenzieSaiba maisMonitoramento e observabilidade de ponta a pontaA Plataforma Lakehouse oferece visibilidade em todo o ciclo de vida de dados e IA para que equipes de engenharia de dados e de operações possam ver a integridade de seus fluxos de trabalho de produção em tempo real, gerenciar a qualidade dos dados e entender tendências históricas. Nos Fluxos de trabalho da Databricks, você pode acessar gráficos de fluxo de dados e painéis que rastreiam a integridade e o desempenho de seus jobs produção e pipelines de Delta Live Tables. Os logs de eventos também são expostos como tabelas do Delta Lake para que você possa monitorar e visualizar métricas de desempenho, qualidade dos dados e confiabilidade de qualquer ângulo.Motor de processamento de dados de última geraçãoA engenharia de dados da Databricks é alimentada pelo Photon, o motor de última geração compatível com as APIs do Apache Spark, oferecendo preço/desempenho recordes enquanto escala automaticamente para milhares de nós. O Spark Structured Streaming oferece uma API unificada para processamento em batch e stream, facilitando a adoção do streaming no lakehouse sem alterar o código ou aprender novas habilidades.Saiba maisGovernança, confiabilidade e desempenho de dados de última geraçãoA engenharia de dados na Databricks significa que você se beneficia dos componentes fundamentais da Plataforma Lakehouse — Unity Catalog e Delta Lake. Seus dados brutos são otimizados com o Delta Lake, um formato de armazenamento de código aberto que fornece confiabilidade por meio de transações ACID e tratamento escalável de metadados com desempenho extremamente rápido. Isso se combina com o Unity Catalog para oferecer uma governança granular para todos os seus dados e ativos de IA, simplificando a forma como você governa, com um modelo consistente para descobrir, acessar e compartilhar dados entre as nuvens. O Unity Catalog também fornece suporte nativo para Delta Sharing, o primeiro protocolo aberto da indústria para compartilhamento de dados fácil e seguro com outras organizações.Migre para a DatabricksNão aguenta mais silos de dados, desempenho lento e altos custos associados a sistemas obsoletos, como Hadoop e os data warehouses corporativos? Migre para a Databricks Lakehouse: a plataforma moderna para todos os seus casos de uso de dados, análises e IA.Migre para a DatabricksIntegraçõesOfereça o máximo de flexibilidade às suas equipes de dados — aproveite o Partner Connect e um ecossistema de parceiros de tecnologia para se integrar perfeitamente a ferramentas populares de engenharia de dados. Por exemplo, você pode ingerir dados críticos de negócios com o Fivetran, transformá-los no lugar com dbt e orquestrar seus pipelines com o Apache Airflow.Ingestão de dados e ETL+ qualquer outro cliente compatível com Apache Spark™História de clienteDescubra maisDelta LakeFluxos de trabalhoDelta Live TablesDelta SharingConteúdo relacionado
Todos os recursos de que você precisa. Reunidos em um só lugar.
Explore nossa biblioteca de recursos: você encontrará e-books e vídeos sobre os benefícios da data engineering no Databricks.
Explorar recursose-booksBuilding the Data Lakehouse, de Bill Inmon, pai do data warehouseData, Analytics and AI governanceGerenciamento de dados 101e-book: The Big Book of Data EngineeringExplore a nova solução de Delta SharingLivro para leigos: Migrating from a Data Warehouse to a Data LakehouseEventosGerencie a transformação de dados com Delta Live TablesSérie de webinars sobre ingestão de dados sem complicaçõesData + AI Summit 2022Modernize seu data warehouseBlogsAnunciando disponibilidade geral de Delta Live Tables (DLT) da DatabricksApresentando os fluxos de trabalho da DatabricksUma visão geral de todos os novos recursos estruturados de streaming desenvolvidos em 2021 para Databricks e Apache Spark10 recursos poderosos para simplificar o gerenciamento de dados semiestruturados no Databricks LakehouseTudo pronto para começar?Experimente gratuitamenteJunte-se à comunidadeAWSAzureGCPProdutoVisão geral da plataformaPreçosTecnologia de código abertoExperimente DatabricksDemoProdutoVisão geral da plataformaPreçosTecnologia de código abertoExperimente DatabricksDemoAprendizagem e suporteDocumentaçãoGlossárioTreinamento e certificaçãoCentral de ajudaInformações legaisComunidade onlineAprendizagem e suporteDocumentaçãoGlossárioTreinamento e certificaçãoCentral de ajudaInformações legaisComunidade onlineSoluçõesPor setorServiços profissionaisSoluçõesPor setorServiços profissionaisEmpresaQuem somosCarreiras em DatabricksDiversidade e inclusãoBlog da empresaEntre em contatoEmpresaQuem somosCarreiras em DatabricksDiversidade e inclusãoBlog da empresaEntre em contatoSee Careers
at DatabricksMundialEnglish (United States)Deutsch (Germany)Français (France)Italiano (Italy)日本語 (Japan)한국어 (South Korea)Português (Brazil)Databricks Inc.
160 Spear Street, 13th Floor
San Francisco, CA 94105
1-866-330-0121© Databricks 2023. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.Aviso de privacidade|Termos de Uso|Suas opções de privacidade|Seus direitos de privacidade na Califórnia