Azure Cognitive Searchによる企業内全文検索と日本語強化パックのご紹介
アクロクエストテクノロジー株式会社

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

1

目次
1. 企業内全文検索の価値
2. 日本語文書検索の課題
3. Azure Cognitive Search
4. アクロクエストが提供するソリューション・サービス

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

2

１. 企業内全文検索の価値

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

3

企業活動で扱うデータの多くが自然言語によるもの
データの形式

データの種類
••
•
•
•
•
•

営業記録／顧客対応記録
マニュアル／手順書
ホワイトペーパー／論文
提案書／見積／契約書
報告書
商品説明／商品レビュー
アンケート••••••

Office文書PDF
HTML
テキストファイル
データベース
画像

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

4

日々の業務やビジネスを圧倒的に変革するには自然言語（テキスト）
データの中にある価値を見つけ出し、活用する
5

企業内全文検索とは企業が扱うOffice文書、PDF、HTML、テキスト、システムのデータベース等のデータを統合検索可能にするシステム
企業内外データの統合検索『エンタープライズサーチ』と呼ばれる

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

6

このようなことありませんか？

検索が遅い

あのファイルどこにあったかなぁ？

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

日本語の検索品質にイライラする7このようなことありませんか？
他部門、他システムのデータにアクセスできない

デジタル化したのは良いが、活用できていない

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

8

エンタープライズサーチ導入による効果
１日当たりの検索時間を以下と仮定する
５分×６回＝３０分

１年間では一人当たり120時間＝0.75人月を検索に費やしている

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

9

エンタープライズサーチ導入による効果
エンタープライズサーチの導入により、このコストを３分の１に削減できるとしたら？

社員一人当たり、年間0.5人月分を削減できる
100人の企業なら、年間50人月1000人の企業なら、年間500人月
Copyright © Acroquest Technology Co., Ltd. All rights reserved.

10

エンタープライズサーチ導入による効果
エンタープライズサーチ導入がもたらすもの① コストを削減できる② 新たな価値を生み出すことに投資できる③ 業務、部署、システムの壁を越えてデータを資産として活用できるため、ビジネスに圧倒的な効率化や変革をもたらすことが可能になる

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

11

自然言語（テキスト）データを扱う時の課題

検索
テキスト抽出Copyright © Acroquest Technology Co., Ltd. All rights reserved.

価値抽出
12

自然言語（テキスト）データを扱う時の課題

探せないものは存在しないものと同義

検索

膨大なテキストから特定のワードをどのように探す？
Copyright © Acroquest Technology Co., Ltd. All rights reserved.

13

企業内全文検索がない場合全てのドキュメントを先頭から最後まで探す

Azure はMicrosoftが提供するクラウドサービスです。
ドキュメント A

Microsoft365 ではTeamsを利用することができます。
ドキュメント B「teams」を検索

Teamsを使ったオンライン会議を開催する手順は次の通りです。
ドキュメント C

チャットが使える便利なソリューションを探しています。
ドキュメント D

データ量が多くなるほど遅くなる・・・

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

14

企業内全文検索を利用する場合検索用の索引インデックス
単語「teams」を検索

Azure はMicrosoftが提供するクラウドサービスです。

ドキュメントazureAmicrosoft

A, B

クラウドサービス

A365Bteams

B, CオンラインC会議Cチャット

Dソリューション

D・・・

膨大なデータでも高速に検索が可能

ドキュメント A

Microsoft365 ではTeamsを利用することができます。
ドキュメント B

Teamsを使ったオンライン会議を開催する手順は次の通りです。
ドキュメント C

チャットが使える便利なソリューションを探しています。
ドキュメント D・・・

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

15

自然言語（テキスト）データを扱う時の課題

非構造化データからテキストデータをどのように抽出する？
テキスト抽出Copyright © Acroquest Technology Co., Ltd. All rights reserved.

16

自然言語（テキスト）データを扱う時の課題
検索だけではなく新たな価値をどう作る？

感情分析

価値抽出

場所抽出

人物抽出

組織抽出

Aあ
言語検出

キーフレーズ抽出

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

タグ抽出

17

企業活動で扱う多くのデータが自然言語によるもの
データの形式

データの種類•••••••

営業記録／顧客対応記録
マニュアル／手順書
ホワイトペーパー／論文
提案書／見積／契約書
報告書
商品説明／商品レビュー
アンケート••••••

Office文書
PDF
HTML
テキストファイル
システムのデータベース
画像

様々なデータ形式に対応し、膨大なテキストデータを高速に扱える企業内全文検索が必要
Copyright © Acroquest Technology Co., Ltd. All rights reserved.

18

２. 日本語文書検索の課題

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

19

全文検索エンジンでの日本語検索でよくある話

昨日は東京タワーに行った。

「今日」というキーワードで検索したらどうなるでしょうか？

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

20全文検索エンジンでの日本語検索でよくある話
昨日は東京タワーに行った。

今日「昨」「日」「は」「東」「京」「タワー」「に」「行」「っ」「た」「今」「日」

デフォルトの設定では・・・

ヒットしてしまう！？

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

21

全文検索エンジンでの日本語検索でよくある話
全文検索エンジンのデフォルトのAnalyzerは、基本的に空白で分かち書きされている英語用です。
日本語のように分かち書きされていない言語には向いていません。

日本語を対象にする場合には、日本語アナライザを利用し、さらに必要に応じたカスタマイズが必要となります。
Copyright © Acroquest Technology Co., Ltd. All rights reserved.

22日本語文書の全文検索における主な課題
#項目

概要

1

大文字／小文字Microsoft Office／microsoft office2

全角／半角ＡＢＣ／ABC, １２３／123, ｶﾞｷﾞｸﾞｹﾞｺﾞ／ガギグゲゴ

3

記号の揺らぎ4

カタカナの揺らぎ

5
6

字種の違い
同義語

マツコ・デラックス／マツコデラックス,
きゃり～ぱみゅぱみゅ／きゃりーぱみゅぱみゅ
バイオリン／ヴァイオリン,インターフェース／インターフェイス／インタフェース斉藤／斎藤／齊藤, 渡辺／渡邉／渡邊
ハンドル／ステアリング

78

意図しない分割
送り字の違い要件定義／要件 OR 定義
見積／見積り／見積もり, 忌引／忌引き

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

23日本語文書の全文検索における主な課題
#項目概要

9

内包ライト／ヘッドライト／サテライト

10 キーワード自動補完

東京／とうきょう／tokyo

11 もしかして検索12 不要な空白

サイゼリヤ／サイゼリア
OfficeファイルやPDFを読み込んだ場合やOCRで取り込んだテキストに空白が入ってしまう問題➢ 後述の『Azure Cognitive Search日本語強化パック』はこれらの課題に対応可能

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

24

3.

Azure Cognitive Search

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

25

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

26

Azure Cognitive Searchの紹介
1. Azureで提供されるマネージドな全文検索サービス
2. インデクサー、エンリッチメント、検索の仕組みを提供
3. 検索だけでなく、AIの活用による付加価値の追加が可能

マイクロソフト「AIを活用したナレッジマイニングソリューションを構築するための開発者ガイド」より引用

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

27

Azure Cognitive Searchの３つの機能

検索
インデクサー

エンリッチメント

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

28

Azure Cognitive Searchの検索機能

検索

https://azjobsdemo.azurewebsites.net

データの取り込み利用できるインデクサー
フォーマット
••
•
•
•••

PDF
Microsoft Office
HTMLXML, JSON, CSV
ZIP
EML, RTF, TXT
PNG, JPG

データソース• Azure Blob Storage• Azure Table Storage• Azure Cosmos DB• Azure SQL Database• Azure VM上のSQL Server

インデクサー
インデクサーの同期間隔は最短で5分

REST APIによるデータ登録も可能
Copyright © Acroquest Technology Co., Ltd. All rights reserved.

30データに付加価値を追加するエンリッチメント
マイクロソフト「AIを活用したナレッジマイニングソリューションを構築するための開発者ガイド」より引用

エンリッチメント

Azure Cognitive Serviceとして提供される機能をCognitive Skillとして利用可能

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

31エンリッチメントパイプライン
データベース

人物抽出

取り込み

Aあ

ファイル

言語検出

感情分析

場所抽出

カスタム
スキル

OCR
画像

組織抽出
•content•

content•

content•

content•

languageCode•languageCode•languageCode•

score

•

score

•

persons

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

32

４. アクロクエストが提供するソリューション・サービス

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

33

Azure Cognitive Search日本語強化パック

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

34

Azure Cognitive Search日本語強化パックの特長
1. 標準で検索画面を提供するため、Azure Cognitive Searchを利用した全文検索システムの構築が簡単にできます
2. 全文検索システムが日本語文書を扱うときに発生する日本語固有の課題を強力にサポート。日本人にとって使い勝手のよい検索体験を提供します
3. Azure Cognitive Searchの便利な機能をフル活用できるため、Cognitive ServiceによるAI機能の活用やその他のAzureサービスとの連携が可能です
Copyright © Acroquest Technology Co., Ltd. All rights reserved.

35

Azure Cognitive Search 日本語強化パック
アーキテクチャ
Office文書/PDF/画像
ファイル
サーバ AzCopy

Cognitive Skill
Azure Blob Storage

他サービス

ユーザ

日本語強化パック
連携モジュール

Azure Cognitive Search

日本語強化パック
検索API／検索画面

日本語強化パックスキル

アクロクエストの全文検索導入支援サービス◼ Azure Cognitive Searchを利用した全文検索システムの導入を検討されている方は、ぜひお問い合わせください。

① PoC（実証検証）の実施② 構築支援③ 日本語の検索体験の改善支援
https://www.endosnipe.com/azure-contact-form

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

37

資料を最後までお読みいただきありがとうございました

Evolve the Earth with Emotion of Technology
Copyright © Acroquest Technology Co., Ltd. All rights reserved.

38