ClearScape Analytics

[Teradata Vantage - 分析機能](https://docs.teradata.com/r/Fast-Facts/Teradata-VantageTM-Analytics-Capabilities) [2022/10/06時点]の翻訳です。

VantageはSQLにおける分析だけでなく、マシンラーニングや、タイムシリーズ、地理空間分析など高度な分析を実現できます。本シリーズでは、Vantageの持つ、高度な分析機能についての情報を掲載していきます。

<iframe width="560" height="315" src="https://www.youtube.com/embed/R7A31xJZRDA" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

:::note information
各機能の詳細な説明に関しては、段階的にリンクを追加していきますので、リンクから詳細ページを参照してご利用下さい。
:::

## ClearScape Analyticsとは？
ClearScape Analyticsは、VantageCloudにおける分析機能として、幅広い用途でご利用いただけます。
<img width="900" alt="ClearScape Analytics 1.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/da52dde0-022e-28a3-8afa-259ef0ba6ed0.png">

# ClearScape Analyticsの機能概要
ClearScape Analyticは、VantageCloudのアナリティクスに関する機能群です。
ClearScape Analyticは、データベースに対する拡張関数及びストアドプロシージャによるインデータベース分析、オープンソースによる分析、分析ツールと統合された分析、複数の言語もしくはAPIからのアクセス、ModelOpsによる分析モデルのライフサイクルの管理など、多くの分析に関する機能を持っています。
![ClearScape Analytics.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/30d63bce-a90b-b818-dc7d-8194f0dd3e8c.png)

# インデータベース分析機能の一覧
イン・データベース分析は現在4つの方法にてご利用いただけます。分析する目的に応じて使い分けができます。
![インデータベース分析.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/aba255b4-9bc2-2ed8-f73e-95abfa971984.png)

| フレームワーク | 機能概要 |
|:-|:-|
| [マシンラーニング関数 <br> (SQL MapReduce<br>フレームワーク)](https://qiita.com/hchd/items/cb0b7661be3dc3adbdd3)| データ準備、探索、特徴抽出、モデル作成、スコアリングといったマシンラーニングを実現るための100種類以上の関数が用意されれイン・データベースによる分析で高速な性能でマシンラーニングを実行することができます。 |
| [タイムシリーズ関数 <br> (無制限配列<br>フレームワーク)](https://qiita.com/hchd/items/a8247c5766447ed65473)| 無制限の配列フレームワークの上で動作し、分析ライフサイクル全体をカバーする50以上の新しい高度な分析機能。特定の分析問題（テキスト、分類、回帰、時系列など）をサポートするためにパイプラインに配置されます  |
|[Vantage<br>アナリティクス・<br>ライブラリ](https://qiita.com/hchd/items/3864203914e01c7f1d1b) |  データ変換、記述統計、仮説検定、クラスタリング、回帰、予測アルゴリズムなど、高度な関数の豊富なライブラリをJAVA外部プロシージャとして実装したもので、R、Python、SQLから使用することができます。|
|[4Dアナリティクス](https://qiita.com/hchd/items/192b8cd87bf6cc0285f1)| 地理空間分析(3D)に加えて、タイムシリーズ及びテンポラルといった時間軸(1D)に関する分析を組み合わせて実現することで、地理空有間(3D)+時間軸(1D)＝４Dの分析を実現できます。  |

## オープンソース連携(Bring Your Own Analytics)
オープンソース連携(Bring Your Own Analytics)では、PythonやRといったオープンソースでの分析をVantageCloudと連携して稼働させることで、スケールした分析を実現します。
<img width="900" alt="オープンソース連携.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/ed7be18e-7021-01ef-454a-18e1424130fd.png">

#### [モデル共有(Bring Your Own Model)](https://qiita.com/hchd/items/adf1430017bd5ad92a3b)
モデル共有(Bring Your Own Model)は、PythonやRといったオープンソースや、AutoMLといった分析ツールでモデリングを行い、それを予測モデル交換フォーマットにより、VantageCloudに取り込み、スコアリングする方法になります。 
<img width="900" alt=" BYOM.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/7cc20eb3-f50c-d3d1-9672-f3bfbb667b6e.png">

#### オープン・アナリティクス・フレームワーク
- カスタムまたはオープンソースのR / Pythonコードおよび標準のライブラリを使用出来ます。
- 並列計算による R/Python コードを実行します。
- クラウド・ネイティブなアーキテクチャにより、オート・スケーリングにより最適なパフォーマンスを実現します。
<img width="700" alt=" オープンアナリティクスフレームワーク.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/095f56ed-fe1d-3e00-0929-f075fe2c7e70.png">

#### スクリプトのDB実行 (STO - Script Table Operator)
スクリプトのDB実行 は Python または R コードのブロックを「データベース内」で実行します。
PythonやRをデータベースで実行するため、クライアント側にデータを移動する必要がなく、並列で処理を行うことができるため、分析作業の効率化します。
<img width="500" alt="STO.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/a8eecced-7c98-8072-e522-70ab2fdabba8.png">

## Python and R 用のライブラリ
teradataml(VantageのPython用パッケージ)とtdplyr(VantageのPython用パッケージ)は[Teradata ダウンロード サイト](https://downloads.teradata.com/)からはダウンロードして使用することができます。

| 言語 | 説明 |
|:-|:-|
|[Python<br>(teradataml)](https://qiita.com/hchd/items/9b84e9bcc29607fb3e2b)|PythonからVantageにアクセスしてして、関数を使用してデータの読み込み、格納、加工、分析などを実施できます。   |
|R<br>(Tdyplyer)|R言語からVantageにアクセスしてして、関数を使用してデータの読み込み、格納、加工、分析などを実施できます。   |


## [JupyterLab Teradata拡張モジュール](https://qiita.com/hchd/items/336c5fc5f6c898f52350)
JupyterLab Teradata拡張モジュールは、Jupyterに対して、SQLカーネルと、Teradata Vantageのための拡張機能を提供します。

<img width="700" alt=" JupyterLab拡張.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/6685e39f-a481-bf90-b13e-cc62bab0dbab.png">

# 分析ツールとの統合
様々なアナリティクス・ツールと連携して利用することで、アナリティクス・ツールのもつ機能性や操作性と、Vantageの高速性能を組み合わせてることで、多様な分析を実現します。
<img width="700" alt=" 分析ツールとの統合.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/ec3529ce-a130-198e-3f02-dd9a4403150c.png">

| 分析ツール名 | 説明 |
|:-|:-|
|Dataiku|Dataikuはデータ準備、機械学習、AIOpsなど多くの機能を揃えた分析なプラットフォームです。Teradata Vantageとの接続して動作するためのプラグインを提供しており、またモデル共有(BYOM)により、Dataikuで作成したモデルをインデータベースでスコアリングする方法で連携してご利用いただくことができます。|
|H2O.ai|H2O.ai は、あらゆる環境での AI による作成、運用、革新を簡素化および加速するように設計された高度な AI クラウド プラットフォームです。Teradata Vantageはオープンソース版、商用版と連携して動作します。モデル共有(BYOM)により、H2O.aiで作成したモデルをインデータベースでスコアリングする方法で連携してご利用いただくことができます。|
|KNIME|KNIME(KNIME Analytics Platform)はワークフロー型データ分析プラットフォームを提供する無償のオープンソースソフトウェアです。データの前処理や機械学習を活用したワークフローをノーコードで構築でき、様々な業務でご活用できます。|
|Amazon SageMaker|Amazon SageMakerはAWS環境でのクラウド機械学習プラットフォームです。 開発者はクラウドで機械学習モデルを作成、トレーニング、デプロイできます。Teradata VantageとはAPIによる連携と、モデル共有(BYOM)による連携を行うことができます。|
|Azure Machine Learning|Azure Machine Learning は、Azure環境にて機械学習プロジェクトのライフサイクルを加速および管理するためのクラウド サービスです。Teradata VantageとはAPIによる連携と、モデル共有(BYOM)による連携を行うことができます。|
|Vertex AI|Google が提供するマネージドな機械学習のプラットフォームで、機械学習 API の利用はもちろん、 AutoML トレーニングとカスタムトレーニングの両方でモデルの保存、モデルのデプロイ、予測のリクエストなどを行うことができます。|
|Python|Pythonはデータサイエンスで広く利用されている汎用のプログラミング言語です。teradatamlライブラリを用いることで、Teradata Vantageのインデータベースで、データ準備や分析関数を用いた機械学習などの分析を行うことができる上で、モデル共有(BYOM)による連携も行うことができます。|
|R|Rは統計解析やグラフィックスの分野で広く利用される言語です。tdplyrライブラリを用いることで、Teradata Vantageのインデータベースで、データ準備や分析関数を用いた機械学習などの分析を行うことができる上で、モデル共有(BYOM)による連携も行うことができます。|

#### [クラウド分析ツールとのAPI連携](https://qiita.com/hchd/items/2c9a82452f1c9765ff06)
<img width="700" alt="API integration with AWS Analytic Services.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/e1c7a33c-710e-04b1-63a3-c16f72452319.png">

# [Vantage ModelOps](https://qiita.com/hchd/items/94f7cfb1a487359cb825)
ModelOpsは分析モデルのバージョン管理、デプロイ、パフォーマンスのモニタリングなど分析モデルにおけるライフサイクルを管理するためのソフトウェアです。
<img width="600" alt=" ModelOps.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2740723/b405ae3c-2cd3-5b22-5df3-7395e08e47d8.png">

## おわりに
:::note warn
警告
この本書は[Teradata Vantageドキュメンテーション](https://docs.teradata.com/)よりトピックに必要な情報を抜粋したものです。掲載内容の正確性・完全性・信頼性・最新性を保証するものではございません。正確な内容については、原本をご参照下さい。
また、修正が必要な箇所や、ご要望についてはコメントをよろしくお願いします。
:::

#### Teradata Vantageへのお問合せ
[Teradata Vantage へのお問合せ](https://www.teradata.jp/About-Us/Contact)