AivenはストリーミングデータをGoogle BigQueryのエコシステムと接続する

<font color="Grey">*[Aiven is connecting streaming data with the Google BigQuery ecosystem](https://aiven.io/blog/aiven-connecting-streaming-data-with-the-bigquery-ecosystem)の翻訳です。*</font>

2023年8月30日

# ストリーミングデータとGoogle BigQueryエコシステムをつなぐAiven

AivenはGoogle Cloud Ready - BigQueryの指定を受け、ストリーミングデータとBigQueryのエコシステムを緊密に接続する新しいApache Flink® to BigQueryシンクコネクタを発表しました。

今日の組織は、即時のフィードバックを収集し、製品やサービスを改善するために、リアルタイムの分析を必要としています。調査によると、Webサイトで顧客を維持するのに必要な時間はわずか3秒です。この短いスパンの中で、顧客のインサイトを把握し、カスタマイズされたオファーを数秒で提供するためには、リアルタイムでデータに対応することが不可欠になります。顧客のニーズをよりよく理解するために、データウェアハウステクノロジーは現在、開発チームがリアルタイムデータのパワーを活用し、低遅延の分析を提供できるようにするものという、まったく異なる用途で活用されています。


Apache Flink®のようなストリーム処理テクノロジーは、リアルタイムデータ計算のための重要なイネーブラーとして登場し、組織がデータをよりよく理解し、ミリ秒単位のレイテンシーでユーザーにレスポンスを提供することを可能にしている。例えば、Pinterestは、Apache Kafka®やApache Flinkのようなストリーミングテクノロジーのパワーを使って、リアルタイムで実験分析を実行しています。堅牢なストリーミング・インフラストラクチャとスケーラブルなデータウェアハウスの組み合わせを活用することは、顧客対応を数時間、あるいは数日から数秒に短縮するための事実上の組み合わせとなります。


本日は、AivenのストリーミングテクノロジーとGoogleのデータウェアハウス向けBigQueryエコシステムを緊密に連携させる2つのエキサイティングな発表をご紹介します。


まず1つ目は、AivenがGoogle Cloud Ready - BigQueryを取得したことです。この指定により、お客様は現在使用している製品がBigQueryと最適に統合されていることをより確信できるようになります。


さらに、BigQueryへのApache Flink®のオープンソースコネクタの早期提供を開始することで、Google Cloud上で直接ストリーミングデータを利用した、より低レイテンシーの分析ワークロードが可能になります！


## Google Cloud Ready - BigQuery イニシアチブへの参加


この度、Google Cloud Ready - BigQueryに認定されました。この指定により、お客様はBigQueryパートナーセンターで直接Aivenのテクノロジーを簡単に見つけることができます。


この指定を取得することで、Aivenの製品がBigQueryと統合する際の中核的な機能性と相互運用性の要件を満たしていることが証明されました。また、このプログラムに参加することで、AivenとGoogle CloudのパートナーエンジニアリングチームおよびBigQueryチームが緊密に連携する機会がより多く確保されます。


「Aiven for Apache KafkaがGoogle Cloud Ready - BigQueryプログラムのパートナーとして認定されたことは、Google Cloudとそのエコシステムとの継続的なコラボレーションとパートナーシップを証明するものです。


「Google Cloud Ready-BigQueryの認定は、ソリューションが正式な認定プロセスを経ており、BigQueryで最高のパフォーマンスを発揮することを顧客に確信させるものです。「Aivenを利用することで、顧客はすべてのデータとメトリクスをBigQueryと連携させ、より簡単にビジネスパフォーマンスを最適化することができます。


[Swift](https://aiven.io/case-studies/aiven-enabling-swift-growth)は、同社の倉庫管理システム2.0を導入している顧客の1社です。[Aiven for Apache Kafka](https://aiven.io/kafka)とApache Kafka Connectを使用して、倉庫データをBigQueryにストリーム配信しています。Aiven for Apache KafkaとBigQueryを使用することで、親組織の大規模なエコシステムとの高度な水平物流連携（HLC）を実装することができます。「Aivenの素晴らしい支援とサポートにより、インフラを安定させ、ビジネスを迅速に拡張し、データをコントロールすることができます」とSwift SolutionsのCTO、Alfi Zainuddin氏は述べています。


Google Cloudとの共同顧客である[Hookdeck](https://aiven.io/case-studies/hookdeck-powers-cloud-data-infrastructure)は、PostgreSQLからBigQueryへのデータ転送にAiven for Apache Kafkaとその高可用性データ・ストリーミング・ソリューションを使用することに成功しました。「利用可能な素晴らしいツールを活用することができました。統合の微調整に時間をかけ、最終的には驚異的なパフォーマンスレベルを達成することができました。1秒間に60,000のメッセージを処理することができました」とHookdeckのCTO兼創業エンジニアであるMaurice Kherlakian氏は言う。


## FlinkとBigQueryのコネクタでストリーミングデータと分析ワークロードのギャップを埋める


Google Cloud Ready - BigQueryの指定に加えて、FlinkとBigQueryのためのオープンソースコネクタも紹介します。Aivenは、誰にとっても信頼できるオープンソースのデータプラットフォームです！私たちのビジョンに基づき、私たちのプラットフォームと一般的なテクノロジーとの統合を可能な限り簡単かつ合理的にすることで、私たちのお客様だけでなく、Apache FlinkとBigQueryのような一般的なテクノロジーとの統合を希望する幅広いオープンソースコミュニティにもさらなる柔軟性を提供したいと考えています。


これに伴い、私たちは[Apache-2.0ソフトウェアライセンス](https://github.com/aiven/bigquery-connector-for-apache-flink/blob/main/LICENSE)の下でライセンスされたFlink to BigQueryシンクコネクタを提供します。これにより、開発者はオープンソースのApache Flinkを使用していても、[Aiven for Apache Flink](https://aiven.io/flink)のようなフルマネージドサービスを使用していても、コネクタを使用することができます。


新しいFlinkとBigQueryコネクタのユーザーは、[Apache Kafka](https://aiven.io/kafka)®のようなデータストリーミング技術を含む複数のソースからデータを読み込んだり、[Change Data Capture (CDC)[](https://aiven.)を活用することで、スケーラブルなストリーミングデータパイプラインやストリーミングアプリケーションを開発できるようになりました。io/blog/what's-new-with-aiven-for-apache-flink-q2-2023#what-is-change-data-capture-cdc-and-why-you-should-care）を活用して、[PostgreSQL](https://aiven.io/postgresql)のような運用データベースから行レベルの変更をリアルタイムで記録します。Apache Flinkのようなストリーム処理技術を使えば、開発チームはデータに対してリアルタイムで簡単に変換を行い、変換されたイベントをBigQueryに渡すことで、さらなる分析やデータウェアハウスのアプリケーションやユースケースを実現できる。


![Aivenが提供するオープンソースのシンクコネクタでFlinkをBigQueryに接続する](https://cdn.sanity.io/images/sczeoy4w/production/4314c5ad8fe397790ee67e8e5281444dfd923567-1999x992.png?q=80&fit=min&auto=format&dpr=1.5)


このコネクタは現在、Apache FlinkのSQL & Table APIをサポートしているが、将来的にはFlinkのDataStream APIとBigQueryの新しいStorage APIをサポートし、より効率的で費用対効果の高い分析ワークロードをスケールアップできるようにする予定だ。


## 価格と入手方法


Apache FlinkとBigQuery間のシンクコネクターは、本日よりAiven Consoleのインテグレーションとしてご利用いただけます。[Aiven for Apache Flinkアプリケーション](https://console.aiven.io/login)にアクセスし、[Aivenコンソール](https://docs.aiven.io/docs/products/flink/howto/connect-bigquery#configure-integration-using-aiven-console)または[Aiven CLI](https://docs.aiven.io/docs/products/flink/howto/connect-bigquery#configure-integration-using-aiven-cli)からBigQueryインテグレーションを選択するだけです。コネクタのユーザーは、世界中のGoogle Cloudリージョンで、ストリーミングデータをBigQueryエコシステムとシームレスに統合できるようになりました。[価格ページ](https://aiven.io/pricing?product=flink)をご覧ください。


コネクタは[GitHub](https://github.com/aiven/bigquery-connector-for-apache-flink)から直接アクセスすることもできます。コネクタのユーザーや、より広いFlinkおよびBigQueryコミュニティからのさらなる貢献やアイデアをお待ちしています。


## Aiven for Apache Flinkを始める


Aiven for Apache FlinkとBigQueryのシームレスな統合は、AivenコンソールまたはAiven CLIのコマンドを数回クリックするだけです。Aivenを初めてご利用になる方は、[30日間無料トライアル](https://aiven.io/how-to-get-started-with-aiven)または[デモのご予約](https://aiven.io/book-demo)にご登録いただき、FlinkとBigQueryの連携方法をご検討ください。