Data Engineering | DatabricksSkip to main contentPlattformDie Lakehouse-Plattform von DatabricksDelta LakeData GovernanceData EngineeringDatenstreamingData-WarehousingGemeinsame DatennutzungMachine LearningData SciencePreiseMarketplaceOpen source techSecurity & Trust CenterWEBINAR 18. Mai / 8 Uhr PT
Auf Wiedersehen, Data Warehouse. Hallo, Lakehouse.
Nehmen Sie teil, um zu verstehen, wie ein Data Lakehouse in Ihren modernen Datenstapel passt.
Melden Sie sich jetzt anLösungenLösungen nach BrancheFinanzdienstleistungenGesundheitswesen und BiowissenschaftenFertigungKommunikation, Medien und UnterhaltungÖffentlicher SektorEinzelhandelAlle Branchen anzeigenLösungen nach AnwendungsfallSolution AcceleratorsProfessionelle ServicesDigital-Native-UnternehmenMigration der Datenplattform9. Mai | 8 Uhr PT
 
Entdecken Sie das Lakehouse für die Fertigung
Erfahren Sie, wie Corning wichtige Entscheidungen trifft, die manuelle Inspektionen minimieren, die Versandkosten senken und die Kundenzufriedenheit erhöhen.Registrieren Sie sich noch heuteLernenDokumentationWEITERBILDUNG & ZERTIFIZIERUNGDemosRessourcenOnline-CommunityUniversity AllianceVeranstaltungenData + AI SummitBlogLabsBaken26.–29. Juni 2023
Nehmen Sie persönlich teil oder schalten Sie für den Livestream der Keynote einJetzt registrierenKundenPartnerCloud-PartnerAWSAzureGoogle CloudPartner ConnectTechnologie- und DatenpartnerTechnologiepartnerprogrammDatenpartner-ProgrammBuilt on Databricks Partner ProgramConsulting- und SI-PartnerC&SI-PartnerprogrammLösungen von PartnernVernetzen Sie sich mit validierten Partnerlösungen mit nur wenigen Klicks.Mehr InformationenUnternehmenKarriere bei DatabricksUnser TeamVorstandUnternehmensblogPresseAktuelle Unternehmungen von DatabricksAuszeichnungen und AnerkennungenKontaktErfahren Sie, warum Gartner Databricks zum zweiten Mal in Folge als Leader benannt hatBericht abrufenDatabricks testenDemos ansehenKontaktLoginJUNE 26-29REGISTER NOWData EngineeringMillionen Produktions-Workloads werden täglich auf Databricks ausgeführtErste SchritteDemo ansehen
WEBINAR • Goodbye, Data Warehouse. Hello, Lakehouse.
Attend on May 18 and get a $100 credit toward a Databricks certification course
Register nowNehmen Sie Batch- und Streaming-Daten auf einfache Weise in die Databricks Lakehouse-Plattform auf und transformieren Sie sie. Orchestrieren Sie zuverlässige Produktionsabläufe, während Databricks Ihre Infrastruktur automatisch in großem Maßstab verwaltet. Steigern Sie die Produktivität Ihrer Teams mit integrierten Datenqualitätstests und Support für Best Practices für die Softwareentwicklung.Batch und Streaming zusammenführenBeseitigen Sie die Trennung von Datenbeständen und führen Sie sie auf einer Plattform mit einer einzigen und einheitlichen API zusammen, um Batch- und Streaming-Daten in großem Maßstab zu erfassen, zu transformieren und schrittweise zu verarbeiten.Auf die Wertschöpfung aus Daten konzentrierenDatabricks verwaltet automatisch Ihre Infrastruktur und die operativen Komponenten Ihrer Produktionsabläufe, sodass Sie sich auf die Wertschöpfung und nicht auf die Tools konzentrieren können.Die Tools Ihrer Wahl verbindenEine offene Lakehouse-Plattform zum Verbinden und Verwenden Ihrer bevorzugten Data Engineering-Tools für Datenaufnahme, ETL/ELT und Orchestrierung.Auf der Lakehouse-Plattform entwickeltDie Lakehouse-Plattform bietet die beste Grundlage für die Entwicklung und die gemeinsame Nutzung vertrauenswürdiger Datenbestände, die zentral verwaltet werden, zuverlässig und blitzschnell sind.„Für uns wird Databricks zum Allzweck-Tool für unsere gesamte ETL-Arbeit. Je mehr wir mit der Lakehouse-Plattform arbeiten, desto einfacher ist sie sowohl für Benutzer als auch für Plattformadministratoren.“– Hillevi Crognale, Engineering Manager, YipitDataWie funktioniert es?Vereinfachte DatenaufnahmeAutomatisierte ETL-VerarbeitungZuverlässige Workflow-OrchestrierungDurchgängige Beobachtbarkeit und ÜberwachungDatenverarbeitungs-Engine der nächsten GenerationGrundlage von Governance, Zuverlässigkeit und LeistungVereinfachte DatenaufnahmeNehmen Sie Daten in Ihre Lakehouse-Plattform auf und betreiben Sie Ihre Analytics-, KI- und Streaming-Anwendungen von einem Ort aus. Auto Loader verarbeitet Dateien, die im Cloud-Speicher landen, inkrementell und automatisch in geplanten oder kontinuierlichen Jobs, ohne dass Statusinformationen verwaltet werden müssten. Neue Dateien werden effizient überwacht, ohne sie in einem Verzeichnis auflisten zu müssen, wobei das System bis in den Milliardenbereich skaliert. Außerdem kann Auto Loader das Schema automatisch aus den Quelldaten ableiten und im Laufe der Zeit an aufkommende Änderungen anpassen. Der Befehl COPY INTO erleichtert Analysten die Batch-Dateiaufnahme in Delta Lake über SQL.„Wir konnten eine Produktivitätssteigerung von 40 % beim Data Engineering verzeichnen – die Zeit, die für die Entwicklung neuer Ideen benötigt wird, wurde von Tagen auf Minuten reduziert und die Verfügbarkeit und Genauigkeit unserer Daten erhöht.“– Shaun Pearce, Chief Technology Officer, GoustoMehr InformationenAutomatisierte ETL-VerarbeitungNach der Erfassung müssen Rohdaten transformiert werden, um sie für Analytics und KI aufzubereiten. Databricks bietet mit Delta-Live-Tables (DLT) leistungsstarke ETL-Funktionen für Data Engineers, Data Scientists und Analysten. DLT ist das erste Framework, das in der Lage ist, mithilfe eines einfachen deklarativen Ansatzes ETL- und ML-Pipelines für Batch- oder Streaming-Daten zu erstellen und gleichzeitig betriebliche Komplexitäten wie Infrastrukturmanagement, Aufgabenorchestrierung, Fehlerbehandlung und Wiederherstellung sowie Leistungsoptimierung zu automatisieren. Mit DLT können Engineers ihre Daten auch als Code behandeln und Best Practices für die Softwareentwicklung wie Tests, Überwachung und Dokumentation anwenden, um zuverlässige Pipelines auch in großer Zahl bereitzustellen.Mehr InformationenZuverlässige Workflow-OrchestrierungDatabricks Workflows ist der vollständig verwaltete Orchestrierungsservice für alle Ihre Daten, Analytics und KI und nativ in Ihrer Lakehouse-Plattform vorhanden. Orchestrieren Sie verschiedene Workloads für den gesamten Lebenszyklus, einschließlich Delta-Live-Tables und Jobs für SQL, Spark, Notebooks, dbt, ML-Modelle und mehr. Die tiefgreifende Integration in die zugrunde liegende Lakehouse-Plattform stellt sicher, dass Sie zuverlässige Produktions-Workloads in jeder Cloud erstellen und ausführen und gleichzeitig eine umfassende und zentralisierte, für Endbenutzer jedoch niederschwellige Überwachung bieten.„Unsere Mission ist es, die Art und Weise zu verändern, wie wir den Planeten mit Energie versorgen. Unsere Kunden im Energiesektor benötigen Daten, Beratungsdienste und Forschung, um diese Transformation zu erreichen. Databricks Workflows gibt uns die Geschwindigkeit und Flexibilität, um die Erkenntnisse zu liefern, die unsere Kunden benötigen.“— Yanyan Wu, Vice President of Data, Wood MackenzieMehr InformationenDurchgängige Beobachtbarkeit und ÜberwachungDie Lakehouse-Plattform bietet Ihnen Transparenz über den gesamten Daten- und KI-Lebenszyklus, sodass Data Engineers und Betriebsteams den Zustand ihrer Produktionsabläufe in Echtzeit sehen, die Datenqualität verwalten und historische Trends verstehen können. In Databricks Workflows können Sie auf Datenflussdiagramme und Dashboards zugreifen, die den Zustand und die Leistung Ihrer Produktionsaufträge und Delta Live Tables-Pipelines verfolgen. Ereignisprotokolle werden auch als Delta Lake Tables angezeigt, sodass Sie Leistungs-, Datenqualitäts- und Zuverlässigkeits-Metrics aus jedem Blickwinkel überwachen und visualisieren können.Datenverarbeitungs-Engine der nächsten GenerationDatabricks Data Engineering basiert auf Photon. Photon ist die mit Apache Spark-APIs kompatible Next-Generation-Engine, die ein rekordverdächtiges Preis-Leistungs-Verhältnis bietet und gleichzeitig automatisch auf Tausende von Knoten skalierbar ist. Spark Structured Streaming implementiert eine zentrale und einheitliche API für die Batch- und Stream-Verarbeitung, sodass Streaming im Lakehouse ganz einfach eingeführt werden kann, ohne Code ändern oder neue Kompetenzen erwerben zu müssen.Mehr InformationenModernste Data-Governance, Zuverlässigkeit und LeistungData Engineering auf Databricks bedeutet, dass Sie von den grundlegenden Komponenten der Lakehouse-Plattform – Unity Catalog und Delta Lake – profitieren. Ihre Rohdaten sind für Delta Lake optimiert, ein Open-Source-Speicherformat, das durch ACID-Transaktionen zuverlässig ist und skalierbare Metadatenbearbeitung mit blitzschneller Leistung bietet. In Kombination mit Unity Catalog erhalten Sie eine detaillierte Governance für alle Ihre Daten- und KI-Assets. So wird die Art und Weise, wie Sie Governance durchsetzen, mit einem einheitlichen Modell vereinfacht, um Daten über Clouds hinweg zu entdecken, darauf zuzugreifen und sie zu teilen. Unity Catalog bietet auch native Unterstützung für Delta Sharing, das branchenweit erste offene Protokoll für den einfachen und sicheren Datenaustausch mit anderen Unternehmen.Zu Databricks migrierenSind die Datensilos, die langsame Leistung und die hohen Kosten für Altsysteme wie Hadoop und Enterprise Data Warehouses müde? Holen Sie sich eine einzige moderne Plattform für alle Ihre Daten-, Analytics- und KI-Anwendungsfälle.Zu Databricks migrierenIntegrationenBieten Sie Ihren Datenteams maximale Flexibilität – nutzen Sie Partner Connect und ein Ökosystem aus Technologiepartnern, um nahtlos beliebte Data Engineering-Tools zu integrieren. Sie können beispielsweise geschäftskritische Daten mit Fivetran aufnehmen, sie mit dbt transformieren und Ihre Pipelines mit Apache Airflow orchestrieren.Datenaufnahme und ETL+ jeder sonstige Apache Spark™-kompatible ClientKundenberichteMehr entdeckenDelta LakeWorkflowsDelta Live TablesDelta-FreigabeÄhnliche Inhalte
Alle Ressourcen, die Sie brauchen. Alle an einem Ort.
In der Ressourcenbibliothek finden Sie E-Books und Videos zu den Vorteilen von Data Engineering in Databricks.
Ressourcen erkundenE-Books„Errichten eines Data Lakehouse“ von Bill Inmon, dem Vater des Data WarehouseDaten, Analysen und KI-GovernanceGrundlagen des DatenmanagementsDas große Buch des Data EngineeringDie neue Delta-Sharing-Lösung erkundenMigrieren von einem Data Warehouse zu einem Data Lakehouse für DummiesVeranstaltungenDatentransformation – mit Delta Live Tables kein ProblemProblemlose Datenerfassung Webinar-ReiheDATA+AI SUMMIT 2022Ihr Data Warehouse modernisierenBlogsBekanntgabe der allgemeinen Verfügbarkeit von Databricks Delta Live Tables (DLT)Einführung in die Databricks-AbläufeEin Überblick über alle neuen strukturierten Streaming-Funktionen, die 2021 für Databricks und Apache Spark entwickelt wurden10 leistungsstarke Funktionen zur Vereinfachung des halbstrukturierten Datenmanagements im Databricks LakehouseMöchten Sie loslegen?Kostenlos testenMitglied der Community werdenAWSAzureGCPProduktPlatform OverviewPreiseOpen Source TechDatabricks testenDemoProduktPlatform OverviewPreiseOpen Source TechDatabricks testenDemoLearn & SupportDokumentationGlossaryWEITERBILDUNG & ZERTIFIZIERUNGHelp CenterLegalOnline-CommunityLearn & SupportDokumentationGlossaryWEITERBILDUNG & ZERTIFIZIERUNGHelp CenterLegalOnline-CommunityLösungenBy IndustriesProfessionelle ServicesLösungenBy IndustriesProfessionelle ServicesUnternehmenÜber unsKarriere bei DatabricksDiversität und InklusionUnternehmensblogKontaktUnternehmenÜber unsKarriere bei DatabricksDiversität und InklusionUnternehmensblogKontaktWeitere Informationen unter
„Karriere bei DatabricksWeltweitEnglish (United States)Deutsch (Germany)Français (France)Italiano (Italy)日本語 (Japan)한국어 (South Korea)Português (Brazil)Databricks Inc.
160 Spear Street, 13th Floor
San Francisco, CA 94105
1-866-330-0121© Databricks 2023. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.Datenschutzhinweis|Terms of Use|Ihre Datenschutzwahlen|Ihre kalifornischen Datenschutzrechte