自然言語処理による革新的なデータ分析サービス：ThoughtSpotの概要とそのユニーク性

## 概要

ThoughtSpotというBIサービスに関するトレーニングを受講したため、その概要、優位性、全体像を整理します。ThoughtSpotは、生成AIのテクノロジーが流行する前から、自然言語処理によるデータ分析を提供していました。他の自然言語処理によるデータ分析ツールと比較して、ユニークな機能があり、個人的には非常に興味深いサービスだと感じました。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/a17b3f58-71af-69a3-c0d6-b90be4c6fcc7.png)

引用元：[検索とAI主導の分析 | ThoughtSpot](https://www.thoughtspot.com/jp)

2021年頃にThoughtSpotや他のBIツールとデータ分析基盤をどのように構築すべきかの相談を受け、以下のような構成図を提案していました。当時は既存のBIツールと共存する提案をしましたが、現在でも他のBIサービスと共存させて利用することがあるようです。本サービスの導入により、データへのアクセス性が向上し、データ利活用の促進が期待できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/27bdc835-8f58-8804-d654-74cef9aadfe6.png)

## ThoughtSpotとは

ThoughtSpotは、ビジネスインテリジェンスおよび分析プラットフォームであり、ユーザーが自然言語でデータを検索し、可視化することが可能です。以下の画像では、アメリカ合衆国の太平洋沿岸地域（ワシントン、オレゴン、カリフォルニアの3州）で最も売れたペットを検索しています。先週の都市別、動物別の売上金額トップ5のデータを可視化しています。作成したグラフ（ThoughtSpotでは「ANSWER」と呼ばれます）をダッシュボードとして共有することも可能です。データ取得の際には、DWHに対してクエリを都度発行しており、最新のデータを取得できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/5d96abcb-d632-b66d-49ed-3c2bcfa6e5c5.png)

引用元：[検索とAI主導の分析 | ThoughtSpot](https://www.thoughtspot.com/jp)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/7c196760-e380-989c-d2a4-9e301703723e.png)

引用元：[検索とAI主導の分析 | ThoughtSpot](https://www.thoughtspot.com/jp)

データ可視化を行う際、Google検索のように単語（カラム名やメジャー名など）を指定してデータを検索・可視化できます。カラム名などに同音異義語を登録でき、日本語や英語が混在したデータでも検索が可能です。データ取得の際には、文章からクエリを生成するのではなく、事前に予約された単語（トークン）でクエリを生成します。本記事ではこの機能を「Token-to-SQL」と呼ぶことにします（ドキュメントでは「Token-based relational search」と記載されています）。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/36d74162-1688-26fa-577d-702f93fada27.png)

引用元：[ThoughtSpot Sage | ThoughtSpot Cloud](https://docs.thoughtspot.com/cloud/latest/search-sage)

文章によるデータ可視化もサポートされており、文章から事前予約済みの単語（トークン）を取得し、Token-to-SQLの技術を利用してデータ取得を行います。本記事ではこの機能を`Text-to-Token-to-SQL`と呼ぶことにします。2段階でデータ取得のクエリを生成しており、文章の表現揺れに対して生成AI（2024年10月31日時点では基盤モデルはOpenAI API）による補正とToken-to-SQL機能による補正を行い、出力されるクエリの精度を高めています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/ace19248-72e3-5995-20e6-f018af820603.png)

引用元：[ThoughtSpot Sage | ThoughtSpot Cloud](https://docs.thoughtspot.com/cloud/latest/search-sage)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/8a9e19fc-2610-1e7f-c789-e09658815760.png)

引用元：[ThoughtSpot Sage | ThoughtSpot Cloud](https://docs.thoughtspot.com/cloud/latest/search-sage)

また、BIの埋め込みをサポートしているため、社内向けだけでなく、自社のサイトに埋め込んで社外向けに提供することも可能です。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/978fb80e-7725-83b0-b07b-49a5c8adc8f2.png)

引用元：[ThoughtSpot Embeddedの概要](https://www.thoughtspot.com/jp/product/embedded)

## 他の自然言語処理によるデータ分析ツールとの比較

他の自然言語処理によるデータ分析ツールと比較して、ThoughtSpotは以下のような特徴があります。多くのツールはText-to-SQLでデータを取得するため、精度が高くない場合があり、修正もプロンプトの言い換えなど困難なことがあります。しかし、ThoughtSpotはText-to-Token-to-SQLでデータを取得するため、出力結果に対してGUIで項目を変更することも可能で、修正が容易です。また、ユーザーが修正した内容がログとして残るため、管理者が後で確認する際にユーザーの意図を把握しやすく、生成AIによる可視化機能の改善業務を効率的に行えます。

1. Text-to-SQLではなく、Text-to-Token-to-SQLでデータ取得を行うため、精度が高い
2. 出力結果の修正が自然言語だけでなく、項目選択によるGUI操作で可能
3. 管理者がログから利用者の意図を把握しやすい

## ThoughtSpotにおけるデータ利活用のアーキテクチャ概要

ThoughtSpotでデータ利活用を行う際のアーキテクチャは以下のように私は捉えています。ソースとなるDWHに接続し、Data Workspace内でデータ分析に利用するWorksheetやTableを定義します。そのデータモデルを参照してデータの可視化（AnswerやLiveboard）やデータの解析（SpotIQ Analysis）を行います。データの可視化を行う際には、Ask Sageという自然言語処理による可視化機能を利用できます。ThoughtSpotを外部と連携できるSyncという機能もあります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/80a1d23e-da8a-a796-da17-226e1118a4d7.png)

## 参考になりそうなリンク集

14日間の製品トライアルが提供されています。私は既に環境を持っているため試していませんが、興味がある方は試してみると良いかもしれません。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/9690f413-beff-cbeb-0de1-ac5b20d33928.png)


引用元：[Free 14-day trial | ThoughtSpot](https://www.thoughtspot.com/jp/trial)

製品のドキュメントは以下のリンクから参照できます。10年以上の開発実績があるため、ドキュメントも充実しています。右上のドロップダウンから、製品名（例：`Cloud`）とバージョン（例：`10.3.0.cl`）を選択できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/f7abd514-6dff-720f-5171-84cb1d0248ac.png)

引用元：[ThoughtSpot Cloud Documentation | ThoughtSpot Cloud](https://docs.thoughtspot.com/cloud/latest/)

ThoughtSpotの資格もあり、詳細は以下のリンクから確認できます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/0d4cf73a-7673-16c4-1854-de806bd7f3fa.png)

引用元：[Certification](https://training.thoughtspot.com/page/certification)

日本向けのコミュニティサイトも用意されており、日本語での情報共有が活発に行われる可能性があります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/caaee45e-2bd4-ba9f-95ff-5c60e44272dc.png)

引用元：[ThoughtSpot Japan Community](https://thoughtspot-japan-community.com/)

ThoughtSpot全体のコミュニティもあり、困った際にはこちらを参照することで解決できるかもしれません。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/600e1a41-9694-b188-2486-1d36ab8fb355.png)

引用元：[ThoughtSpot Community](https://community.thoughtspot.com/s/)

## 2024年12月のイベント

2024年12月4日に「ThoughtSpot Day in Tokyo 2024」が開催されるようです。製品に興味がある方は参加してみると良いかもしれません。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/24031/48bad8ef-4b01-275c-5831-802dce4aa6a4.png)

引用元：[ThoughtSpot Day in Tokyo 2024 (12月4日開催)](https://www.thoughtspot-japan-event.com/ThoughtSpot-Day-in-Tokyo-2024-12-4-1108d0be7ab380438b8cc57587769174)