質問: データレイクとは何ですか?
回答: データレイクとは何ですか? データレイクとデータウェアハウスはどちらも設計パターンですが、これらは反対です。データウェアハウスは、高い同時実行性を備えた品質、一貫性、再利用、およびパフォーマンスを実現するために、データの構造とパッケージ化を実現します。データレイクは、元の生データの忠実性と長期保存に焦点を当てた設計パターンでデータウェアハウスを補完し、新しい形式の分析的な俊敏性を提供しながら、低コストで保管します。 データレイクの値 データレイクは、データ量の爆発から経済的に活用し、価値を引き出す必要性を満たしています。新しいソース(web、モバイル、接続デバイス)からのこの「暗い」データは、過去に廃棄されることが多かったが、貴重な洞察が含まれている。大量のデータに加えて、新しい形式の分析が、データから価値を管理し、導き出す新しい方法を要求します。 データレイクは、あらゆる形式の生データを大規模にキャプチャ、調整、探索する、長期的なデータコンテナーのコレクションです。データマート、データウェアハウス、および推奨エンジンなど、複数のダウンストリーム施設が描画できる低コストのテクノロジによって実現されます。 ビッグデータの傾向に先立ち、データ統合はデータベースなどの何らかの永続化で情報を正規化し、その情報を作成しました。これだけでは、企業内のすべてのデータを管理するだけでは不十分であり、それを構造化しようとすると、その価値が損なわれます。そのため、ダークデータがデータベースにキャプチャされることはめったにありませんが、データサイエンティストはダークデータを掘り下げて繰り返す価値のあるいくつかの事実を見つけることがよくあります。 データレイクと新しい形式の分析 spark などのテクノロジや他の技術革新により、手続き型プログラミング言語の並列化が可能になり、まったく新しい種類の分析が可能になりました。これらの新しい形式の分析は、グラフ、テキスト、機械学習アルゴリズムなど、答えを得て次のデータと比較し、最終的な出力に達するまで、その答えを比較して、規模で効率的に処理できます。 データレイクと企業のメモリ保持 長期間使用されていないデータをアーカイブすると、データ ウェアハウスのストレージ領域を節約できます。データレイク設計パターンが登場するまでは、パフォーマンスの高いデータウェアハウスやオフライン・テープ・バックアップ以外は、時折アクセスするために、より古いデータを配置する場所はありませんでした。仮想クエリツールを使用すると、ユーザーは 1 つのクエリを使用して、データウェアハウス内の温かいデータとホットデータと一緒にコールドデータに簡単にアクセスできます。 データレイクとデータ統合 業界は、データ変換コストを最大限に活用する方法について完全に円を描いています。データレイクは、従来の etl (抽出、変換、負荷) サーバーよりも低コストでスケーラビリティが向上するため、企業はデータ統合アーキテクチャを再考する必要があります。最新のベスト プラクティスを採用している組織では、データレイク、データウェアハウス、etl サーバーで、それぞれ独自の機能と経済性を備えているため、何百ものデータ統合ジョブのバランスを取り直しています。 共通データレイク落とし穴 表面的には、データレイクは簡単に表示され、大量の構造化データと非構造化データを管理および利用できます。しかし、それらは見かけほど単純ではなく、失敗したデータレイクプロジェクトは多くの種類の産業や組織で珍しいことではありません。初期のデータレイクプロジェクトは、ベストプラクティスがまだ出現していなかったため、課題に直面していました。今、固体設計の欠如は、データレイクが完全な価値を提供しない主な理由です。 データサイロとクラスターの急増: データレイクは参入障壁が低く、クラウドでその場しのぎのことが可能であるという考えがあります。これにより、冗長データと、2 つのデータ レイクが調整されず、同期の問題が発生する不整合が発生します。 データアクセスの目的の競合: 厳密なセキュリティ対策の基準を決定することと、アジャイル アクセスの間にバランスを取る作業があります。すべての利害関係者を調整する計画と手順を整備する必要があります。 限定された市販ツール:多くのベンダーはhadoopまたはクラウドオブジェクトストアに接続すると主張していますが、提供物には深い統合が欠けており、これらの製品のほとんどはデータレイクではなくデータウェアハウス用に構築されています。 エンドユーザーの採用の不足: ユーザーは、優れたコーディングスキルを必要とするため、データレイクから答えを得るには複雑すぎるという認識を持っているか、データ干し草の山の中に必要な針を見つけることができないという認識を持っています。 データレイク・デザイン・パターン データレイク設計パターンは、成功した実装を導く一連のワークロードと期待を提供します。データレイク・テクノロジーと経験が成熟するにつれて、アーキテクチャとそれに対応する要件が進化し、主要ベンダーが実装に関する合意とベストプラクティスを持つものになりました。テクノロジーは重要ですが、テクノロジーとは無関係な設計パターンが最も重要です。データレイクは、複数のテクノロジーに基づいて構築できます。hadoop 分散ファイル システム (hdfs) は、ほとんどの人が最初に考えるものですが、必須ではありません。