(57)【要約】【課題】提示される情報の適切性を向上させる。【解決手段】情報提示システム１は、任意の期間内に取得される音声の音声データ、所定の表示装置に表示されるか又は媒体への印刷用途として用意される画像データ、及び登録されたキーワードを示すキーワードデータのうちの少なくとも２つのデータに含まれる複数のテキストデータに共通する共通語に基づいてクエリを生成し、所定のデータベースからクエリによる検索結果を取得し、検索結果又は検索結果の一部を所定の出力装置に出力する。【選択図】図３
2019102060.tif 000002
【特許請求の範囲】
【請求項１】
任意の期間内の任意の時刻に提示又は取得される情報に関連する関連情報を提示する情報提示システムであって、
前記任意の期間内に取得される音声の音声データ、所定の表示装置に表示されるか又は媒体への印刷用途として用意される画像データ、及び登録されたキーワードを示すキーワードデータのうちの少なくとも２つのデータに含まれる複数のテキストデータに共通する共通語に基づいてクエリを生成し、所定のデータベースから前記クエリによる検索結果を取得する情報取得部と、
前記検索結果又は前記検索結果の一部を所定の出力装置に出力する出力部と、
を備える情報提示システム。
【請求項２】
前記テキストデータは、前記画像データに代えて、当該画像データを生成するための電子ファイル内のテキストデータである、
請求項１に記載の情報提示システム。
【請求項３】
前記情報取得部は、前記音声データに基づく音声テキストデータ及び前記画像データに基づく画像テキストデータを利用して前記クエリを生成する場合、前記音声データをテキスト化する際に実行される音声認識処理における誤認識及び前記画像データをテキスト化する際に実行される画像認識処理における誤認識による影響が軽減されるように、前記クエリを生成する、
請求項１又は２に記載の情報提示システム。
【請求項４】
前記情報取得部は、前記キーワードデータに基づくテキストデータを利用して前記クエリを生成する場合、前記データベースを検索する際の検索方向が前記キーワードに沿ったものとなるように、前記クエリを生成する、
請求項１〜３のいずれか１項に記載の情報提示システム。
【請求項５】
所定の端末を用いて前記キーワードの登録を可能にするキーワード取得部、
を更に備える請求項１〜４のいずれか１項に記載の情報提示システム。
【請求項６】
前記キーワード取得部は、前記端末がアクセス可能なＳＮＳシステムを利用して前記キーワードを取得する、
請求項５に記載の情報提示システム。
【請求項７】
前記関連情報は、前記ＳＮＳシステムを利用して前記キーワードの登録を行った前記端末に送信される、
請求項６に記載の情報提示システム。
【請求項８】
前記任意の期間に取得された前記テキストデータを記憶する内部記憶部と、
前記内部記憶部に記憶されたテキストデータから、前記任意の時刻に取得された前記テキストデータである直近テキストデータと共通の意味を有する類似文章を抽出する類似文章抽出部と、
前記類似文章に基づいてキーフレーズを作成するキーフレーズ作成部と、
を更に備え、
前記情報取得部は、前記キーフレーズに基づいて生成されたクエリを用いて前記データベースから前記関連情報を取得する、
請求項１〜７のいずれか１項に記載の情報提示システム。
【請求項９】
前記キーフレーズに基づいて生成されたクエリを用いて取得された前記関連情報から、前記キーフレーズと共通の意味を有するキーフレーズ文章を抽出するキーフレーズ文章抽出部、
を更に備え、
前記出力部は、前記キーフレーズ文章を所定の出力装置に出力する、
請求項８に記載の情報提示システム。
【請求項１０】
前記キーフレーズに基づいて生成されたクエリを用いて取得された前記関連情報に含まれる１以上の文章を、当該キーフレーズと共通の意味を有する１以上の文章からなる群に分類し、前記群毎に１以上の文章を代表する代表文章を作成する取得情報クラスタリング部、
を更に備え、
前記出力部は、前記代表文章を含むクラスタリング結果を所定の出力装置に出力する、
請求項８に記載の情報提示システム。
【請求項１１】
前記類似文章抽出部は、前記任意の時刻に前記音声データに基づく音声テキストデータ及び前記画像データに基づく画像テキストデータが取得された場合に、当該画像テキストデータから当該音声テキストデータと共通に意味を有する情報を抽出する、
請求項８〜１０のいずれか１項に記載の情報提示システム。
【請求項１２】
任意の期間内の任意の時刻に提示又は取得される情報に関連する関連情報を提示する情報提示方法であって、
前記任意の期間内に取得される音声の音声データ、所定の表示装置に表示されるか又は媒体への印刷用途として用意される画像データ、及び登録されたキーワードを示すキーワードデータのうちの少なくとも２つのデータに含まれる複数のテキストデータに共通する共通語に基づいてクエリを生成するステップと、
所定のデータベースから前記クエリによる検索結果を取得するステップと、
前記検索結果又は前記検索結果の一部を所定の出力装置に出力するステップと、
を含む情報提示方法。
【請求項１３】
任意の期間内の任意の時刻に提示又は取得される情報に関連する関連情報を提示するための処理を行うコンピュータに、
前記任意の期間内に取得される音声の音声データ、所定の表示装置に表示されるか又は媒体への印刷用途として用意される画像データ、及び登録されたキーワードを示すキーワードデータのうちの少なくとも２つのデータに含まれる複数のテキストデータに共通する共通語に基づいてクエリを生成する処理と、
所定のデータベースから前記クエリによる検索結果を取得する処理と、
前記検索結果又は前記検索結果の一部を所定の出力装置に出力する処理と、
を実行させるプログラム。
【請求項１４】
請求項１３に記載のプログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提示システム、情報提示方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
会議の参加者に会議に関連する関連情報を提示するシステムが利用されている。このようなシステムにおいては、例えば、会議中に発せられた音声、表示装置に表示された画像等に関連する文書等（関連情報）を簡便且つ適切に参加者に提示できるようにすることが求められる。
【０００３】
例えば、撮像手段により取得された文字列の画像やマイクにより取得された音声から文字情報を抽出し、抽出された文字情報に基づく支援情報を生成するアイデア抽出支援システムが開示されている（特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のようなシステムを利用することにより、会議中に発せられた音声や表示された画像に関連する情報を参加者に提示することができる。しかしながら、音声をテキスト化する際に実行される音声認識処理や画像をテキスト化する際に実行される画像認識処理においては、ある程度の確率で誤認識が生じることが避けられない。このような誤認識が生じると、会議の内容とは無関係な情報が提示されてしまう場合がある。従来のシステムによってはこのような問題に対処することができないため、提示される情報の適切性という観点において改善の余地が大きい。例えば、参加者が検索動作を行わずとも、多種類の既得情報に基づいてシステムから参加者に自主的に関連情報が提示されることが望まれる。このとき提示される情報の適切性を向上させることが重要である。
【０００５】
本発明は、上記に鑑みてなされたものであって、提示される情報の適切性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の一形態は、任意の期間内の任意の時刻に提示又は取得される情報に関連する関連情報を提示する情報提示システムであって、前記任意の期間内に取得される音声の音声データ、所定の表示装置に表示されるか又は媒体への印刷用途として用意される画像データ、及び登録されたキーワードを示すキーワードデータのうちの少なくとも２つのデータに含まれる複数のテキストデータに共通する共通語に基づいてクエリを生成し、所定のデータベースから前記クエリによる検索結果を取得する情報取得部と、前記検索結果又は前記検索結果の一部を所定の出力装置に出力する出力部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、提示される情報の適切性を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態に係る情報提示システムのシステム構成例を示す図である。
【図２】図２は、第１の実施形態に係る管理サーバ及びデータベースサーバのハードウェア構成例を示すブロック図である。
【図３】図３は、第１の実施形態に係る情報提示システムの機能構成例を示すブロック図である。
【図４】図４は、第１の実施形態に係る外部検索部の機能構成例を示すブロック図である。
【図５】図５は、第１の実施形態に係るインデックス情報のデータ構造例を示す図である。
【図６】図６は、第１の実施形態に係るテキスト化部の機能構成例を示すブロック図である。
【図７】図７は、第１の実施形態に係る認識データ情報のデータ構造例を示す図である。
【図８】図８は、第１の実施形態に係る情報取得部の機能構成例を示すブロック図である。
【図９】図９は、第１の実施形態に係る情報提示システムにおける処理例を示すシーケンス図である。
【図１０】図１０は、第１の実施形態に係るクエリを生成する際の処理例を示すフローチャートである。
【図１１】図１１は、第１の実施形態に係る設定画面の例を示す図である。
【図１２】図１２は、第１の実施形態に係る検索結果表示画面の例を示す図である。
【図１３】図１３は、第２の実施形態に係る情報提示システムの機能構成例を示すブロック図である。
【図１４】図１４は、第２の実施形態に係るキーワード取得部の機能構成例を示すブロック図である。
【図１５】図１５は、第２の実施形態に係る外部検索部の機能構成例を示すブロック図である。
【図１６】図１６は、第２の実施形態に係る情報提示システムにおける処理例を示すシーケンス図である。
【図１７】図１７は、第２の実施形態に係るＳＮＳ画面の例を示す図である。
【図１８】図１８は、第３の実施形態に係る情報提示システムの機能構成例を示すブロック図である。
【図１９】図１９は、第３の実施形態に係る類似文章抽出部の機能構成例を示すブロック図である。
【図２０】図２０は、第３の実施形態に係る類似文章抽出部における処理例を示すシーケンス図である。
【図２１】図２１は、第３の実施形態に係るキーフレーズ作成部の機能構成例を示すブロック図である。
【図２２】図２２は、第３の実施形態に係るキーフレーズ作成部における処理例を示すフローチャートである。
【図２３】図２３は、第３の実施形態に係る情報取得部の機能構成例を示すブロック図である。
【図２４】図２４は、第３の実施形態に係る情報取得部における処理例を示すフローチャートである。
【図２５】図２５は、第４の実施形態に係る情報提示システムの機能構成例を示すブロック図である。
【図２６】図２６は、第４の実施形態に係る類似情報抽出部の機能構成例を示すブロック図である。
【図２７】図２７は、第４の実施形態に係る類似情報抽出部における処理例を示すシーケンス図である。
【図２８】図２８は、第５の実施形態に係る情報提示システムの機能構成例を示すブロック図である。
【図２９】図２９は、第５の実施形態に係る取得情報クラスタリング部の機能構成例を示すブロック図である。
【図３０】図３０は、第５の実施形態に係る取得情報クラスタリング部における処理例を示すシーケンス図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、情報提示システム、情報提示方法、プログラム、及び記録媒体の実施形態を詳細に説明する。以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には当業者が容易に想到できるもの、実質的に同一のもの、及びいわゆる均等の範囲のものが含まれる。以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更、及び組み合わせを行うことができる。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る情報提示システム１のシステム構成例を示す図である。情報提示システム１は、会議の参加者に会議に関連する関連情報を提示するシステムである。なお、「関連情報」は、「会議」に関連する情報に限られるものではなく、任意の期間内の任意の時刻に提示又は取得される情報に関連する情報であり得る。本例に係る情報提示システム１は、管理サーバ１１、データベースサーバ１２、マイク１３、プロジェクタ１４（表示装置）、ディスプレイ１５（表示装置）、クライアント端末１６（端末）、及びネットワーク１９を含む。
【００１１】
マイク１３は会議の参加者の音声を集音し、音声データを生成する。音声データはネットワーク１９を介して管理サーバ１１に送信される。プロジェクタ１４は所定のスクリーンに画像（静止画又は動画）を投影する。ディスプレイ１５は画像を表示する。プロジェクタ１４及びディスプレイ１５は、ネットワーク１９を介して管理サーバ１１から送信される画像データ、制御信号等に応じて動作する。クライアント端末１６は会議の参加者等により操作されるパーソナルコンピュータであり、ネットワーク１９を介して管理サーバ１１と接続している。データベースサーバ１２は、関連情報を含む各種データを管理（書き込み、読み出し、検索等）する、プロセッサ、記憶装置等を含むコンピュータシステムであり、ネットワーク１９を介して管理サーバ１１と接続している。管理サーバ１１は、関連情報を参加者に提示するための処理を行う、プロセッサ、記憶装置等を含むコンピュータシステムであり、ネットワーク１９を介してデータベースサーバ１２、マイク１３、プロジェクタ１４、ディスプレイ１５、クライアント端末１６、その他適宜なデバイスと接続している。
【００１２】
なお、プロジェクタ１４とディスプレイ１５とは常に両方同時に使用されなければならないものではなく、どちらか一方のみが使用されてもよい。また、ディスプレイ１５は管理サーバ１１からの制御信号だけでなく、クライアント端末１６からの制御信号に基づいて動作する場合がある。また、図１においては表示装置としてプロジェクタ１４とディスプレイ１５とが例示されているが、例えば、表示（投影）機能と入力機能とを兼ね備えたデバイス（電子黒板（インタラクティブホワイトボード）、電子情報ボード等）を利用してもよい。また、取得済みの表示内容に基づいて、管理サーバ１１からの制御により、所定の表示装置に関連情報が表示されてもよい。また、データベース機能を有するサーチエンジンを利用する場合には、情報提示システム１内にデータベースサーバ１２が含まれていなくてもよい。また、管理サーバ１１は特定のコンピュータであってもよいが、管理サーバ１１の機能をクラウドに委託する構成であってもよい。
【００１３】
図２は、第１の実施形態に係る管理サーバ１１及びデータベースサーバ１２のハードウェア構成例を示すブロック図である。管理サーバ１１及びデータベースサーバ１２は、ＣＰＵ（Central  Processing  Unit）２１、ＲＡＭ（Random  Access  Memory）２２、ＲＯＭ（Read  Only  Memory）２３、ストレージ２４、入力デバイス２５、出力デバイス２６、及び通信Ｉ／Ｆ２７を含む。ＣＰＵ２１はＲＯＭ２３に記憶されたプログラムに従ってＲＡＭ２２をワーキングエリアとして所定の制御演算処理を行う。ストレージ２４は不揮発性メモリであって、各種データを記憶する。入力デバイス２５は、使用者（システム管理者等）の操作を受け付けて外部から情報を入力するためのデバイスであり、例えばキーボード、マウス、タッチパネル等である。出力デバイス２６は、内部で生成した情報を外部に出力するためのデバイスであり、例えばディスプレイ、プリンタ等である。通信Ｉ／Ｆ２７は、ネットワーク１９を介して外部の機器との間で情報の送受信を可能にするデバイスである。なお、入力デバイス２５及び／又は出力デバイス２６が不要となる場合がある。
【００１４】
なお、図１及び図２に示すシステム構成及びハードウェア構成は単なる例示であり、情報提示システム１は、使用状況に応じて適宜なハードウェア及びソフトウェアを利用して構築されるべきものである。
【００１５】
図３は、第１の実施形態に係る情報提示システム１の機能構成例を示すブロック図である。本例に係る情報提示システム１は、音声データ取得部１０１、画像データ取得部１０２、キーワード取得部１０３、入力部１０４、テキスト化部１０５、情報取得部１０６、外部検索部１０７、出力部１０８、及び外部出力部１０９を含む。
【００１６】
音声データ取得部１０１は、会議中に発せられた音声の音声データを取得する。音声データは、例えば、会議室に設置されたマイク１３により取得される。
【００１７】
画像データ取得部１０２は、会議室等に設置された表示装置（プロジェクタ１４、ディスプレイ１５等）に表示された画像の画像データを取得する。画像データは、表示装置に実際に表示された画像を撮影したデータであってもよいし、表示内容を示すコンテンツデータ等であってもよい。
【００１８】
キーワード取得部１０３は、参加者等により予め登録されたキーワードを示すキーワードデータを取得する。キーワードの登録は、例えば、参加者がクライアント端末１６を操作すること等により行われる。ここでのキーワードは、適切な関連情報を取得するために有効な情報であって、例えば会議の内容に関連し参加者が興味を持っている事柄を示す文言等である。会議の内容に関連性があり参加者が興味を持っているにも関わらず、会議中では発言されなかったり、画像として表示されなかったりする文言を、キーワードとして登録することが好ましい。
【００１９】
入力部１０４は、音声データ取得部１０１により取得された音声データ、画像データ取得部１０２により取得された画像データ、及びキーワード取得部１０３により取得されたキーワードデータを入力する。音声データ、画像データ、及びキーワードデータの入力及び保持は、例えば、管理サーバ１１のストレージ２４等を利用して行われる。
【００２０】
テキスト化部１０５は、入力部１０４により入力された音声データ、画像データ、及びキーワードデータをテキスト化する。音声データをテキスト化することにより、音声テキストデータが生成される。画像データをテキスト化することにより、画像テキストデータが生成される。キーワードデータをテキスト化することにより、キーワードテキストデータが生成される。キーワードデータのテキスト化は、例えば、手書き等の手段で入力されたキーワードデータを正規化した文字列に変換する処理である。テキスト化は、公知の音声認識処理（ＡＳＲ（Automatic  Speech  Recognition）処理）、画像認識処理（ＯＣＲ（Optical  Character  Recognition）処理）等を利用して行うことができ、主に管理サーバ１１の処理能力を利用して行うことができる。
【００２１】
情報取得部１０６は、テキスト化部１０５により生成されたテキストデータ（音声テキストデータ、画像テキストデータ、及びキーワードテキストデータ）に基づいて、外部検索部１０７から関連情報を取得する。情報取得部１０６は、テキストデータに基づくクエリを生成し、クエリを外部検索部１０７に送信し、外部検索部１０７からクエリに適合する関連情報を取得する。なお、本実施形態における「クエリ」は、情報検索における明確な情報要求のことである。クエリは、主に、キーワード群を論理演算子や他の修飾子で繋いで表現される。情報取得部１０６は、例えば、管理サーバ１１の処理能力を利用して実現される。
【００２２】
外部検索部１０７は、関連情報を蓄積したデータベースから、情報取得部１０６から受信したクエリに適合する関連情報を検索及び抽出し、抽出された関連情報を情報取得部１０６に送信する。外部検索部１０７は、例えば、データベースサーバ１２の処理能力を利用して実現される。
【００２３】
出力部１０８は、情報取得部１０６により取得された関連情報を外部出力部１０９に出力する。出力部１０８は、取得された関連情報を各外部出力部１０９の仕様に応じた形式に変換する機能等を備え、例えば、管理サーバ１１の機能を利用して実現される。
【００２４】
外部出力部１０９は、関連情報を参加者に提示するものであって、例えば、クライアント端末１６、ディスプレイ１５、プロジェクタ１４等であり得る。
【００２５】
図４は、第１の実施形態に係る外部検索部１０７の機能構成例を示すブロック図である。本例に係る外部検索部１０７は、外部ソース１２１（データベース）、外部ソース連携部１２２、クロール制御部１２３、文書収集部１２４、インデックス記憶部１２５、及び文書検索部１２６を含む。
【００２６】
外部ソース連携部１２２は、外部ソース１２１に蓄積された文書等の関連情報を読み出すための処理を行う。外部ソース連携部１２２は、所定のアクセス処理により外部ソース１２１にアクセスする。アクセス処理には、データの送受信の他に認証処理が含まれてもよい。
【００２７】
クロール制御部１２３は、外部ソース連携部１２２により読み出された関連情報に対して、外部ソース１２１の制限等に応じて設定された範囲内でクロール動作を実施する。
【００２８】
文書収集部１２４は、クロール制御部１２３を介して関連情報を収集する。文書収集部１２４は、クロール制御部１２３から受信した関連情報を適切なフォーマットに整形し、整形された関連情報に対応するインデックス情報を生成し、インデックス情報をインデックス記憶部１２５に記憶させる。
【００２９】
文書検索部１２６は、情報取得部１０６（管理サーバ１１）から受信したクエリに適合するインデックス情報を検索し、検索されたインデックス情報に対応する関連情報を文書収集部１２４から取得する。
【００３０】
なお、外部検索部１０７の機能は既存のサーチエンジンにより実現することができるため、そのようなサーチエンジンを利用する場合には、情報提示システム１に外部検索部１０７が備えられていなくてもよい。
【００３１】
図５は、第１の実施形態に係るインデックス情報１３０のデータ構造例を示す図である。本例に係るインデックス情報１３０は、カラムとして、文書の作成者を示す「作成者」、文書の種類を示す「クラス」、文書が作成された日時を示す「作成日時」、文書が格納されているソース（外部ソース１２１）を特定する「ソース」、テキストの内容を示す「テキスト」、文書のタイトルを示す「タイトル」、文書毎に一意に割り当てられる識別番号である「文書ＩＤ」、及び文書が更新された日時を示す「更新日時」を含んでいる。全ての文書は、「文書ＩＤ」及び「ソース」により特定可能となる。文書が更新されると、「更新日時」が更新される。「タイトル」が同一である複数文書は、外部ソース１２１の制限により複数のアイテム（ロウ）に分割されて登録される場合がある。「テキスト」及び「タイトル」は検索対象となる。
【００３２】
図６は、第１の実施形態に係るテキスト化部１０５の機能構成例を示すブロック図である。本例に係るテキスト化部１０５は、入力データ受信部１３１、入力データ処理部１３２、テキスト送信部１３３、及び認識データ記憶部１３４を含む。
【００３３】
入力データ受信部１３１は、入力部１０４から受信した音声データ、画像データ、及びキーワードデータを受信し、キャッシュとして保存し、その後これらのデータを入力データ処理部１３２に送信する。
【００３４】
入力データ処理部１３２は、音声データをテキスト化して音声テキストデータを生成する音声処理部１４１、画像データをテキスト化して画像テキストデータを生成する画像処理部１４２、及びキーワードデータをテキスト化してキーワードテキストデータを生成するキーワード処理部１４３を含む。入力データ処理部１３２は、生成された音声テキストデータ、画像テキストデータ、及びキーワードテキストデータをテキスト送信部１３３に送信する。入力データ処理部１３２は、音声テキストデータ、画像テキストデータ、及びキーワードテキストデータに基づいて認識データ情報を生成し、認識データ情報を認識データ記憶部１３４に記憶させる。認識データ情報はその後の検証、学習等に利用される。
【００３５】
テキスト送信部１３３は、受信した音声テキストデータ、画像テキストデータ、及びキーワードテキストデータを情報取得部１０６に送信する。
【００３６】
図７は、第１の実施形態に係る認識データ情報１５０のデータ構造例を示す図である。本例に係る認識データ情報１５０は、カラムとして、テキスト化の対象となった元データが取得された会議を特定する（会議毎に一意に割り当てられる識別番号である）「会議ＩＤ」、テキスト化が行われた日時を示す「認識日時」、テキストの言語の種類を示す「言語」、テキスト化に利用した認識処理の種類（本例ではＯＣＲ又はＡＳＲ）を示す「認識タイプ」、及びテキストの内容を示す「テキスト」を含む。本例においては、各アイテムのパーティションキーは「会議ＩＤ」であり、ソートキーは「認識日時」である。
【００３７】
図８は、第１の実施形態に係る情報取得部１０６の機能構成例を示すブロック図である。本例に係る情報取得部１０６は、テキスト受信部１５１、テキスト選択部１５２、クエリ生成部１５３、検索呼出部１５４、及び検索結果送信部１５５を含む。
【００３８】
テキスト受信部１５１は、テキスト化部１０５（テキスト送信部１３３）から音声テキストデータ、画像テキストデータ、及びキーワードテキストデータを受信する。
【００３９】
テキスト選択部１５２は、テキスト受信部１５１が受信した複数のテキストデータから２つ以上のテキストデータを選択する。本実施形態においては、下記４つの選択パターン（１）〜（４）が存在する。
（１）音声テキストデータ＋画像テキストデータ
（２）音声テキストデータ＋キーワードテキストデータ
（３）画像テキストデータ＋キーワードテキストデータ
（４）音声テキストデータ＋画像テキストデータ＋キーワードテキストデータ
【００４０】
クエリ生成部１５３は、テキスト選択部１５２により選択されたテキストデータに基づいてクエリを生成する。クエリ生成部１５３は、例えば、選択パターンが（２）であれば、音声テキストデータとキーワードテキストデータとを比較し、双方に共通する「共通語」を抽出する。共通語を抽出することで、結果的に、音声テキストデータ又はキーワードテキストデータに生じた誤認識部分を避けることができる。クエリ生成部１５３は、その後、共通語と共通語の間を適切な論理演算子で接続することで、クエリを生成する。本例においては、下記４種類のクエリ（第１〜第４のクエリ）が生成され得る。
【００４１】
第１のクエリは、選択パターン（１）に対応し、音声テキストデータ及び画像テキストデータを組み合わせて生成されるクエリである。第１のクエリを利用することにより、例えば、会議中に発せられた音声と表示された画像との両方の内容を反映した関連情報を取得することが可能となる。このように、音声テキストデータと画像テキストデータとを組み合わせてクエリを生成することにより、音声認識処理における誤認識及び画像認識処理における誤認識による影響を軽減することが可能となる。音声認識処理及び画像認識処理においてはある程度の確率で誤認識が生じる可能性があるが、音声認識処理と画像認識処理との両方において同じ対象について誤認識が生じる可能性は極めて低いからである。これにより、検索結果の適切性を向上させることができる。また、第１のクエリにおいては、登録されたキーワードによる影響がないため、柔軟性の高い検索結果が得られる。
【００４２】
第２のクエリは、選択パターン（２）に対応し、音声テキストデータ及びキーワードテキストデータを組み合わせて生成されるクエリである。キーワードテキストデータを利用することにより、関連情報の検索処理における検索方向を定めることができる。第２のクエリを利用することにより、例えば、予め登録されたキーワードとの関連度が高い音声に対応する関連情報を優先的に取得したり、キーワードとの関連度が低い音声に対応する関連情報を排除したりすることが可能となる。これにより、検索結果の適切性を向上させることができる。
【００４３】
第３のクエリは、選択パターン（３）に対応し、画像テキストデータ及びキーワードテキストデータを組み合わせて生成されるクエリである。キーワードテキストデータを利用することにより、関連情報の検索処理における検索方向を定めることができる。第３のクエリを利用することにより、例えば、予め登録されたキーワードとの関連度が高い画像に対応する関連情報を優先的に取得したり、キーワードとの関連度が低い画像に対応する関連情報を排除したりすることが可能となる。これにより、検索結果の適切性を向上させることができる。
【００４４】
第４のクエリは、選択パターン（４）に対応し、音声テキストデータ、画像テキストデータ、及びキーワードテキストデータを組み合わせて生成されるクエリである。キーワードテキストデータを利用することにより、関連情報の検索処理における検索方向を定めることができる。第４のクエリを利用することにより、音声認識処理の誤認識及び画像認識処理の誤認識による影響を軽減することができると共に、例えば、予め登録されたキーワードとの関連度が高い音声及び／又は画像に対応する関連情報を優先的に取得したり、キーワードとの関連度が低い音声及び／又は画像に対応する関連情報を排除したりすることが可能となる。これにより、検索結果の適切性を向上させることができる。
【００４５】
「誤認識」された場合の対応方法を以下に例示する。
（１）正しい用語に修正する。
（２）誤認識された可能性のある用語を使わない（クエリに取り込まない）。
【００４６】
よく使われる用語の対、同義語、類義語、同音異義語等について上記対応方法（１）を行った上で「共通語」を抽出するようにしてもよい。また、上記対応方法（２）は「使わない」ことに限定されるものではなく、例えば、「複数のテキストを比べた際の出現回数に応じて用語に重み付けをする」等の対応であってもよい。具体的には、「共通語の重み付けを大きくし、その他の用語の重み付けを小さくする」等の対応であり得る。
【００４７】
キーワードテキストデータを利用した検索方向性の調整については、キーワードをフィルタ的に動作させることが望ましい。例えば、キーワードが指定されると、当該キーワードを含まない検索結果を除外する処理等が利用され得る。例えば、選択パターン（４）のように音声テキストデータ、画像テキストデータ、及びキーワードテキストデータがあるとき、｛（音声テキスト）ＯＲ（画像テキスト）｝ＡＮＤ（キーワード）等のクエリを生成することにより、キーワードをフィルタ的に用いることができる。すなわち、キーワード（及びその同義語）が含まれないものは検索結果に含まれないようにしてもよい。なお、キーワードをＡＮＤで利用する形式だけでなく、例えば、キーワードを「重み付け」的に利用し、キーワードに基づく概念検索を行うようにしてもよい。
【００４８】
検索呼出部１５４は、クエリ生成部１５３により生成されたクエリを外部検索部１０７に送信し、クエリの応答として検索結果（クエリに適合する関連情報）を受信する。
【００４９】
検索結果送信部１５５は、検索呼出部１５４により受信された検索結果を出力部１０８に送信する。
【００５０】
図９は、第１の実施形態に係る情報提示システム１における処理例を示すシーケンス図である。情報取得部１０６が会議室に設置されたプロジェクタ１４により投影された画像のキャプチャを要求すると（Ｓ１０１）、テキスト化部１０５（画像処理部１４２）は投影された画像内に存在する文字をテキスト化した画像テキストデータを生成し、画像テキストデータを情報取得部１０６に送信する（Ｓ１０２）。
【００５１】
情報取得部１０６が発言データを要求すると（Ｓ１０３）、テキスト化部１０５（音声処理部１４１）は会議室で発せられた音声をテキスト化した音声テキストデータを生成し、音声テキストデータを情報取得部１０６に送信する（Ｓ１０４）。
【００５２】
情報取得部１０６が参加者等により登録されたキーワードを要求すると（Ｓ１０５）、テキスト化部１０５（キーワード処理部１４３）はキーワード取得部１０３に対してキーワードを要求する（Ｓ１０６）。キーワード取得部１０３はテキスト化部１０５からの要求を受信すると、キーワードデータを正規化した正規化データをテキスト化部１０５（キーワード処理部１４３）に送信する（Ｓ１０７）。ここでの正規化とは、クライアント端末１６等により登録されたキーワードを示すキーワードデータの形式等を、テキスト化部１０５によるテキスト化処理、情報取得部１０６によるクエリ生成処理、外部検索部１０７による検索処理等を行いやすくするために、変更等することであり、例えばキーワードデータをリレーショナルデータベースの検索に適した形式やインターネット検索に適した形式に変更すること等であり得る。テキスト化部１０５（キーワード処理部１４３）は受信した正規化データに基づいてキーワードテキストデータを生成し、キーワードテキストデータを情報取得部１０６に送信する（Ｓ１０８）。
【００５３】
情報取得部１０６は、受信した画像テキストデータ、音声テキストデータ、及びキーワードテキストデータのうちの２つ以上を組み合わせてクエリを生成する（Ｓ１０９）。その後、情報取得部１０６は、クエリを外部検索部１０７（文書検索部１２６）に送信して検索を要求する（Ｓ１１０）。文書検索部１２６は、受信したクエリに基づいて、会議の内容と関連度が高い文書（関連情報）を、インデックス記憶部１２５に記憶されているインデックス情報１３０を利用して検索及び抽出する（Ｓ１１１，Ｓ１１２）。文書検索部１２６は、抽出された文書を含む検索結果をクエリの応答として情報取得部１０６に送信する（Ｓ１１３）。
【００５４】
情報取得部１０６は受信した検索結果を外部出力部１０９（クライアント端末１６等）に表示可能なデータとなるように処理する（Ｓ１１４）。情報取得部１０６は処理された検索結果を出力部１０８に送信し（Ｓ１１５）、出力部１０８は処理された検索結果を外部出力部１０９（クライアント端末１６等）に出力する（Ｓ１１６）。
【００５５】
図１０は、第１の実施形態に係るクエリを生成する際の処理例を示すフローチャートである。先ず、入力データ処理部１３２は画像データ又は音声データがあるか否かを判定する（Ｓ１００１）。画像データ又は音声データがない場合（Ｓ１００１：Ｎｏ）、情報取得部１０６は会議が終わるか否かを判定する（Ｓ１００８）。会議が終わる場合（Ｓ１００８：Ｙｅｓ）には本ルーチンを終了し、会議が終わらない場合（Ｓ１００８：Ｎｏ）にはステップＳ１００１に戻る。
【００５６】
画像データ又は音声データがある場合（Ｓ１００１：Ｙｅｓ）、画像処理部１４２は画像データに対してＯＣＲ処理を行い（Ｓ１００２）、音声処理部１４１は音声データに対してＡＳＲ処理を行う（Ｓ１００３）。
【００５７】
その後、入力データ処理部１３２は、キーワードが必要か否かを判定する（Ｓ１００４）。キーワードが必要か否かの判定方法は特に限定されるべきものではないが、例えば、参加者からのキーワード登録要求の有無に基づいて判定することができる。キーワードが必要でない場合（Ｓ１００４：Ｎｏ）、クエリ生成部１５３は、ＯＣＲ処理により生成された画像テキストデータ及びＡＳＲ処理により生成された音声テキストデータに基づいてクエリを生成する（Ｓ１００６）。なお、キーワードが必要でない場合（Ｓ１００４：Ｎｏ）であって、画像テキストデータ又は音声テキストデータのどちらか一方しか存在しない場合には、テキストデータを空値にできない仕様としたり、プリセットされたデフォルト値を用いたりすることが考えられる。一方、キーワードが必要である場合（Ｓ１００４：Ｙｅｓ）、キーワード取得部１０３はキーワード（キーワードデータ）を取得し（Ｓ１００５）、クエリ生成部１５３は、ＯＣＲ処理により生成された画像テキストデータ、ＡＳＲ処理により生成された音声テキストデータ、及び取得されたキーワードデータをテキスト化したキーワードテキストデータに基づいてクエリを生成する（Ｓ１００６）。
【００５８】
その後、外部検索部１０７は、上記のように生成されたクエリに基づいて、会議の内容との関連度が高い文書（関連情報）を検索及び抽出する検索処理を行う（Ｓ１００７）。その後、情報取得部１０６は会議が終わるか否かを判定し（Ｓ１００８）、会議が終わる場合（Ｓ１００８：Ｙｅｓ）には本ルーチンを終了し、会議が終わらない場合（Ｓ１００８：Ｎｏ）にはステップＳ１００１に戻る。
【００５９】
図１１は、第１の実施形態に係る設定画面２０１の例を示す図である。本例に係る設定画面２０１は、キーワードの登録等を行うための画面であり、クライアント端末１６のディスプレイ等に表示される画面の例である。本例に係る設定画面２０１には、キーワードを入力するためのキーワード入力部２０２、検索対象とするデータベース（外部ソース１２１）を選択するデータベース選択部２０３、検索方法を選択するための検索エンジン選択部２０４等が設けられている。このような画面を利用することにより、参加者等はキーワードの登録、検索対象とするデータベースの選択、使用する検索方法の選択等を簡便に行うことが可能となる。
【００６０】
図１２は、第１の実施形態に係る検索結果表示画面２１１の例を示す図である。本例に係る検索結果表示画面２１１は、関連情報を表示するための画面であり、クライアント端末１６のディスプレイ等に表示される画面の例である。本例に係る検索結果表示画面２１１には、関連情報（文書）のタイトル及び内容を表示する関連情報表示部２１２、議論と関連情報との関連度を示す関連度表示部２１３等が設けられている。このような画面を利用することにより、参加者等は会議中等において議論に関連する各種情報を閲覧することが可能となる。
【００６１】
上記情報提示システム１の機能を実現するプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記禄媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。また、ブラウザを介して提供されるウェブサービスを読み取る方法が利用されてもよい。
【００６２】
また、プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。また、プログラムをＲＯＭ等の適宜な記憶装置に予め組み込んで提供するように構成してもよい。また、プログラムは上記複数の機能のうちプログラムにより実現可能な機能を含むモジュール構成となっていてもよい。プログラムにより実現される機能は、記禄媒体からプログラムを読み出して実行することによりＲＡＭ等の主記憶装置にロードされる。すなわち、プログラムにより実現される機能は主記憶装置上に生成される。
【００６３】
上記のように、本実施形態に係る情報提示システム１によれば、会議中に発せられた音声をテキスト化したデータ、会議中に表示された画像をテキスト化したデータ、及び参加者等により登録されたキーワードのうちの２つ以上に基づいてクエリが生成され、このようなクエリに適合する関連情報が取得される。これにより、音声認識処理の誤認識及び画像認識処理の誤認識による影響が軽減され、キーワードによって示される検索方向に沿った適切性の高い関連情報を取得することが可能となる。
【００６４】
以下に、他の実施形態について図面を参照して説明するが、第１の実施形態と同一又は同様の作用効果を奏する箇所については同一の符号を付してその説明を省略する場合がある。
【００６５】
（第２の実施形態）
図１３は、第２の実施形態に係る情報提示システム３０１の機能構成例を示すブロック図である。本実施形態に係る情報提示システム３０１は、キーワードの登録を外部のＳＮＳ（Social  Networking  Service）システム３０２を利用して行うことができる構成を有することを特徴とし、ＳＮＳ通信部３１１を含む。
【００６６】
ＳＮＳシステム３０２は、インターネット等を利用して構築される公知のコミュニケーション支援システムである。会議の参加者等がアクセス可能な状態であれば既存のＳＮＳシステム３０２を利用することができる。
【００６７】
ＳＮＳ通信部３１１は、ＳＮＳシステム３０２と接続し、ＳＮＳシステム３０２にアクセスしている端末（クライアント端末１６等）から入力されたキーワードを示すキーワードデータを受信する。ＳＮＳ通信部３１１は、例えば、管理サーバ１１の処理能力を利用して実現される。
【００６８】
図１４は、第２の実施形態に係るキーワード取得部３１２の機能構成例を示すブロック図である。本実施形態に係るキーワード取得部３１２は、キーワードデータ取得部３２１及び正規化部３２２を含む。
【００６９】
キーワードデータ取得部３２１は、ＳＮＳ通信部３１１からキーワードデータを取得する。
【００７０】
正規化部３２２は、キーワードデータ取得部３２１により取得されたキーワードデータを正規化する。ここでの正規化とは、ＳＮＳシステム３０２から受信したキーワードデータの形式等を、テキスト化部１０５によるテキスト化処理、情報取得部１０６によるクエリ生成処理、外部検索部３１３による検索処理等を行いやすくするために、変更等することであり、例えば受信したキーワードデータをインターネット検索に適した形式に変更すること（例えば、ＯＲ，ＡＮＤ，ＮＯＴ等のワードでキーワードをつなげて検索クエリに変換すること）等であり得る。正規化部３２２により正規化されたキーワードデータは、入力部１０４に入力される。本実施形態に係る情報取得部１０６のクエリ生成部１５３は、第１の実施形態と同様に、テキスト化部１０５により生成された音声テキストデータ、画像テキストデータ、及びキーワードテキストデータのうちの２つ以上に基づいてクエリを生成する。
【００７１】
図１５は、第２の実施形態に係る外部検索部３１３の機能構成例を示すブロック図である。本実施形態に係る外部検索部３１３は、インターネット３３５上に公開されている情報から関連情報を抽出する機能を有し、文書検索部３３１及び外部ネットワーク連携部３３２を含む。
【００７２】
文書検索部３３１は、情報取得部１０６から送信されたクエリを受信し、外部ネットワーク連携部３３２に送信する。外部ネットワーク連携部３３２は、文書検索部３３１から送信されたクエリに適合する情報（関連情報）をインターネット３３５上に開示されている情報の中から収集する。外部ネットワーク連携部３３２による関連情報の収集は、既存のインターネット検索エンジンを利用して行われてもよい。外部ネットワーク連携部３３２により収集された関連情報は、文書検索部３３１を介して情報取得部１０６に送信される。このように収集された関連情報は、ＳＮＳシステム３０２にアクセスしてキーワードの登録を行った端末に送信されることが好ましい。
【００７３】
図１６は、第２の実施形態に係る情報提示システム３０１における処理例を示すシーケンス図である。情報取得部１０６が会議室に設置されたプロジェクタ１４により投影された画像のキャプチャを要求すると（Ｓ２０１）、テキスト化部１０５（画像処理部１４２）は投影された画像内に存在する文字をテキスト化した画像テキストデータを生成し、画像テキストデータを情報取得部１０６に送信する（Ｓ２０２）。
【００７４】
情報取得部１０６が発言データを要求すると（Ｓ２０３）、テキスト化部１０５（音声処理部１４１）は会議室で発せられた音声をテキスト化した音声テキストデータを生成し、音声テキストデータを情報取得部１０６に送信する（Ｓ２０４）。
【００７５】
情報取得部１０６が参加者等により登録されたキーワードを要求すると（Ｓ２０５）、テキスト化部１０５（キーワード処理部１４３）はキーワード取得部３１２にキーワードを要求する（Ｓ２０６）。キーワード取得部３１２はキーワードの要求を受信すると、ＳＮＳ通信部３１１を介してＳＮＳシステム３０２からキーワードデータを取得し、キーワードデータを正規化した正規化データをテキスト化部１０５（キーワード処理部１４３）に送信する（Ｓ２０７）。テキスト化部１０５（キーワード処理部１４３）は受信した正規化データに基づいてキーワードテキストデータを生成し、キーワードテキストデータを情報取得部１０６に送信する（Ｓ２０８）。
【００７６】
情報取得部１０６は、受信した画像テキストデータ、音声テキストデータ、及びキーワードテキストデータのうちの２つ以上を組み合わせてクエリを生成する（Ｓ２０９）。その後、情報取得部１０６は、クエリを外部検索部３１３（文書検索部３３１）に送信して検索を要求する（Ｓ２１０）。文書検索部３３１は、受信したクエリに基づいて、会議の内容との関連度が高い文書（関連情報）を、外部ネットワーク連携部３３２を介してインターネット３３５上に公開されている情報から検索及び抽出し、抽出された文書を含む検索結果をクエリの応答として情報取得部１０６に送信する（Ｓ２１１）。
【００７７】
情報取得部１０６は、受信した検索結果をＳＮＳシステム３０２にアクセスした端末（クライアント端末１６等）が表示可能なデータとなるように処理する（Ｓ２１２）。情報取得部１０６は処理された検索結果を出力部１０８に送信し（Ｓ２１３）、出力部１０８は処理された検索結果をＳＮＳシステム３０２にアクセスした端末（クライアント端末１６等）に出力する（Ｓ２１４）。
【００７８】
図１７は、第２の実施形態に係るＳＮＳ画面３５１の例を示す図である。本例に係るＳＮＳ画面３５１は、ＳＮＳシステム３０２を利用したキーワードの登録、関連情報の表示等を行うための画面であって、ＳＮＳシステム３０２にアクセスしている端末のディスプレイ等に表示される画面の例である。本例に係るＳＮＳ画面３５１には、キーワードを入力するためのキーワード入力部３５２、登録されたキーワード（本例では「セキュリティ」）を表示するためのキーワード表示部３５３、関連情報を表示するための関連情報表示部３５４等が設けられている。このような画面を利用することにより、参加者等はキーワードの登録及び関連情報の閲覧を簡便に行うことが可能となる。
【００７９】
上記のように、本実施形態に係る情報提示システム３０１によれば、第１の実施形態に係る情報提示システム１と同様の効果に加え、ＳＮＳシステム３０２を利用してキーワードの登録及び関連情報の閲覧を簡便に行うことが可能となる。
【００８０】
（第３の実施形態）
図１８は、第３の実施形態に係る情報提示システム４０１の機能構成例を示すブロック図である。本実施形態に係る情報提示システム４０１は、表現の異なる発話内容や投影内容から意味合いが類似している類似文章を抽出し、類似文章に基づいて、関連情報を取得する際に使用されるキーフレーズを作成する構成を有することを特徴とする。本実施形態に係る情報提示システム４０１は、内部記憶部４１１、類似文章抽出部４１２、及びキーフレーズ作成部４１３を含む。
【００８１】
内部記憶部４１１は、任意の期間内にテキスト化部１０５により生成された全テキストデータ（音声テキストデータ、画像テキストデータ、及びキーワードテキストデータ）を記憶する。内部記憶部４１１は、例えば、管理サーバ１１の処理機能（ストレージ２４等）を利用して実現される。
【００８２】
類似文章抽出部４１２は、任意の期間内の任意の時刻にテキスト化部１０５から取得した直近テキストデータと、内部記憶部４１１に記憶された全テキストデータとに基づいて、直近テキストデータに類似する類似文章を全テキストデータから抽出する。類似文章抽出部４１２は、例えば、管理サーバ１１の処理能力等を利用して実現される。
【００８３】
キーフレーズ作成部４１３は、類似文章抽出部４１２により抽出された類似文章に基づいて、外部検索部１０７から関連情報を取得する際に用いられるキーフレーズ（検索キーワード等）を作成する。キーフレーズ作成部４１３は、管理サーバ１１の処理能力等を利用して実現される。
【００８４】
図１９は、第３の実施形態に係る類似文章抽出部４１２の機能構成例を示すブロック図である。本実施形態に係る類似文章抽出部４１２は、データ取得部４２１、データ記憶部４２２、含意認識部４２３、類似文章記憶部４２４、及び送信部４２５を含む。
【００８５】
データ取得部４２１は、テキスト化部１０５によりテキスト化されたデータを取得する。データ取得部４２１は、テキスト化部１０５から直近テキストデータを取得する直近テキスト取得部４３０、及び内部記憶部４１１から全テキストデータを取得する記憶情報取得部４３４を含む。直近テキスト取得部４３０は、テキスト化部１０５のキーワード処理部１４３からキーワードテキストデータを取得するキーワードテキスト取得部４３１、テキスト化部１０５の音声処理部１４１から音声テキストデータを取得する音声テキスト取得部４３２、及びテキスト化部１０５の画像処理部１４２から画像テキストデータを取得する画像テキスト取得部４３３を含む。
【００８６】
データ記憶部４２２は、データ取得部４２１により取得されたデータを記憶し、判定元一時記憶部４４１及び抽出対象一時記憶部４４２を含む。判定元一時記憶部４４１は、データ取得部４２１により取得された直近テキストデータ、すなわち、任意の時刻にキーワードテキスト取得部４３１により取得されたキーワードテキストデータ、音声テキスト取得部４３２により取得された音声テキストデータ、及び画像テキスト取得部４３３により取得された画像テキストデータを、判定元として一時的に記憶する。抽出対象一時記憶部４４２は、任意の期間に記憶情報取得部４３４により取得された全テキストデータを、抽出対象として一時的に記憶する。
【００８７】
なお、データ記憶部４２２は、任意の時刻に音声テキストデータ及び画像テキストデータが取得された場合に、画像テキストデータから音声テキストデータと共通の意味を有する情報を抽出し、抽出された情報のみを判定元として記憶するものであってもよい。これにより、話題となっている情報のみを判定元となるテキストデータとして扱うことができる。
【００８８】
含意認識部４２３は、複数の文章（語句を含む）が共通の意味を有するか否かを判定し、判定元（直近テキストデータ）と共通の意味を有する類似文章を抽出対象（全テキストデータ）から抽出する処理を行う。含意認識部４２３は、例えば、同義語・類義語辞書データ等を利用して含意認識処理を行う適宜なシステムを利用して実現され得る。含意認識部４２３は、外部サービス（例えば、特許第５６９６５５５号公報や特開２０１６−０４５６５２号公報に開示されている技術を利用したシステム）を利用して実現されてもよいし、管理サーバ１１やデータベースサーバ１２の処理機能を利用して実現されてもよい。
【００８９】
類似文章記憶部４２４は、含意認識部４２３により抽出された類似文章（判定元として記憶された直近テキストデータが示す文章と共通の意味を有する文章）を記憶する。
【００９０】
送信部４２５は、類似文章記憶部４２４に記憶された類似文章をキーフレーズ作成部４１３に送信する。
【００９１】
図２０は、第３の実施形態に係る類似文章抽出部４１２における処理例を示すシーケンス図である。先ず、データ取得部４２１の直近テキスト取得部４３０が直近テキストデータを取得し（Ｓ３０１）、データ取得部４２１の記憶情報取得部４３４が全テキストデータを取得する（Ｓ３０２）。その後、データ取得部４２１は、取得した直近テキストデータ及び全テキストデータをデータ記憶部４２２に送信する（Ｓ３０３）。
【００９２】
データ記憶部４２２の判定元一時記憶部４４１は、受信した直近テキストデータを判定元として一次的に記憶し（Ｓ３０４）、データ記憶部４２２の抽出対象一時記憶部４４２は、受信した全テキストデータを抽出対象として一時的に記憶する（Ｓ３０５）。データ記憶部４２２は、記憶されている直近テキストデータ及び全テキストデータを含意認識部４２３に送信する（Ｓ３０６）。
【００９３】
含意認識部４２３は、受信した直近テキストデータと共通の意味を有する類似文章を全テキストデータから抽出し（Ｓ３０７）、抽出した類似文章を類似文章記憶部４２４に送信する（Ｓ３０８）。類似文章記憶部４２４は、受信した類似文章を一時的に記憶し（Ｓ３０９）、記憶されている類似文章を送信部４２５に送信する（Ｓ３１０）。
【００９４】
送信部４２５は、受信した類似文章をキーフレーズ作成部４１３に送信する（Ｓ３１１）。そして、キーフレーズ作成部４１３は、受信した類似文章に基づいて、外部検索部１０７から関連文書を取得するためのクエリを生成するためのキーフレーズを作成する（Ｓ３１２）。
【００９５】
図２１は、第３の実施形態に係るキーフレーズ作成部４１３の機能構成例を示すブロック図である。本実施形態に係るキーフレーズ作成部４１３は、類似文章取得部４５１、クラスタリング部４５２、キーフレーズ記憶部４５３、及び送信部４５４を含む。
【００９６】
類似文章取得部４５１は、類似文章抽出部４１２から送信された類似文章を取得する。
【００９７】
クラスタリング部４５２は、類似文章取得部４５１により取得された複数の類似文章から、互いに共通の意味を有する１以上の類似文章からなる群を生成するクラスタリングを行い、当該互いに共通の意味を有する１以上の類似文章を代表するキーフレーズを作成する処理を行う。クラスタリング部４５２は、適宜な外部サービスを利用して実現されてもよいし、管理サーバ１１やデータベースサーバ１２の処理機能を利用して実現されてもよい。
【００９８】
キーフレーズ記憶部４５３は、クラスタリング部４５２により作成されたキーフレーズを記憶する。
【００９９】
送信部４５４は、キーフレーズ記憶部４５３に記憶されたキーフレーズを情報取得部１０６に送信する。
【０１００】
図２２は、第３の実施形態に係るキーフレーズ作成部４１３における処理例を示すフローチャートである。先ず、類似文章取得部４５１は、類似文章抽出部４１２から全ての類似文章を取得する（Ｓ３２１）。クラスタリング部４５２は、取得された全ての類似文章に対してクラスタリングを行い、互いに共通の意味を有する１以上の類似文章からなる群毎にキーフレーズを作成する（Ｓ３２２）。キーフレーズ記憶部４５３は、作成されたキーフレーズを一時的に記憶する（Ｓ３２３）。送信部４５４は、キーフレーズ記憶部４５３に記憶されたキーフレーズを情報取得部１０６に送信する（Ｓ３２４）。
【０１０１】
図２３は、第３の実施形態に係る情報取得部１０６の機能構成例を示すブロック図である。本実施形態に係る情報取得部１０６は、キーフレーズ取得部４６１、検索結果取得部４６２、検索結果記憶部４６３、及び送信部４６４を含む。
【０１０２】
キーフレーズ取得部４６１は、キーフレーズ作成部４１３から送信されたキーフレーズを取得する。
【０１０３】
検索結果取得部４６２は、キーフレーズ取得部４６１により取得されたキーフレーズを用いてクエリを生成し、当該クエリを用いて外部検索部１０７から関連文書を含む検索結果を取得する。
【０１０４】
検索結果記憶部４６３は、検索結果取得部４６２により取得された関連文書を含む検索結果を記憶する。
【０１０５】
送信部４６４は、検索結果記憶部４６３に記憶された検索結果を出力部１０８に送信する。
【０１０６】
図２４は、第３の実施形態に係る情報取得部１０６における処理例を示すフローチャートである。先ず、キーフレーズ取得部４６１は、キーフレーズ作成部４１３からキーフレーズを取得する（Ｓ３３１）。検索結果取得部４６２は、取得されたキーフレーズを用いて（キーフレーズから生成されたクエリを用いて）外部検索部１０７から関連文書（検索結果）を取得する（Ｓ３３２）。検索結果記憶部４６３は、取得された関連文書を一時的に記憶し（Ｓ３３３）、記憶されている関連文書を出力部１０８に送信する（Ｓ３３４）。
【０１０７】
上記のように、本実施形態に係る情報提示システム４０１によれば、会議中に取得されたテキストデータの中から共通の意味を有する類似文章が抽出され、互いに共通の意味を有する複数の類似文章を代表するキーフレーズが自動作成される。そして、キーフレーズを利用して取得された関連文書が会議参加者等に提示される。これにより、表現上の相違があっても意味的に関連性が高い情報を簡便且つ正確に提示することが可能となる。
【０１０８】
（第４の実施形態）
図２５は、第４の実施形態に係る情報提示システム５０１の機能構成例を示すブロック図である。本実施形態に係る情報提示システム５０１は、第３の実施形態のように作成されたキーフレーズに用いて外部検索部１０７から取得された情報（関連文書）の中から、キーフレーズと共通の意味を有する類似情報を抽出して出力する構成を有することを特徴とする。本実施形態に係る情報提示システム５０１は、類似情報抽出部５１１を含む。
【０１０９】
図２６は、第４の実施形態に係る類似情報抽出部５１１の機能構成例を示すブロック図である。本実施形態に係る類似情報抽出部５１１は、データ取得部５２１、データ記憶部５２２、含意認識部５２３、類似情報記憶部５２４、及び送信部５２５を含む。
【０１１０】
データ取得部５２１は、キーフレーズ作成部４１３から送信されたキーフレーズを取得するキーフレーズ取得部５３１、及び情報取得部１０６から送信された検索結果を取得する検索結果取得部５３２を含む。
【０１１１】
データ記憶部５２２は、キーフレーズ取得部５３１により取得されたキーフレーズを判定元として一時的に記憶する判定元一時記憶部５４１、及び検索結果取得部５３２により取得された検索結果（キーフレーズを用いて外部検索部１０７から取得された関連文書を含む情報）を抽出対象として一時的に記憶する抽出対象一時記憶部５４２を含む。
【０１１２】
含意認識部５２３は、第２の実施形態に係る含意認識部４２３と同様に、複数の文章（語句を含む）が共通の意味を有するか否かを判定し、判定元（キーフレーズ）と共通の意味を有するキーフレーズ文章を抽出対象（関連文書）から抽出する処理を行う。含意認識部５２３は、例えば、同義語・類義語辞書データ等を利用して含意認識処理を行う適宜なシステムを利用して実現され得る。含意認識部５２３は、外部サービス（例えば、特許第５６９６５５５号公報や特開２０１６−０４５６５２号公報に開示されている技術を利用したシステム）を利用して実現されてもよいし、管理サーバ１１やデータベースサーバ１２の処理機能を利用して実現されてもよい。
【０１１３】
類似情報記憶部５２４は、含意認識部５２３により抽出された類似情報を記憶する。
【０１１４】
送信部５２５は、類似情報記憶部５２４に記憶された類似情報を出力部１０８に出力する。
【０１１５】
図２７は、第４の実施形態に係る類似情報抽出部５１１における処理例を示すシーケンス図である。先ず、データ取得部５２１のキーフレーズ取得部５３１がキーフレーズ作成部４１３からキーフレーズを取得し（Ｓ４０１）、データ取得部５２１の検索結果取得部５３２が検索結果（関連文書を含む情報）を取得する（Ｓ４０２）。その後、データ取得部５２１は、取得したキーフレーズ及び検索結果をデータ記憶部５２２に送信する（Ｓ４０３）。
【０１１６】
データ記憶部５２２の判定元一時記憶部５４１は、受信したキーフレーズを判定元として一時的に記憶し（Ｓ４０４）、データ記憶部４２２の抽出対象一時記憶部５４２は、受信した検索結果を抽出対象として一時的に記憶する（Ｓ４０５）。データ記憶部５２２は、記憶されているキーフレーズ及び検索結果を含意認識部５２３に送信する（Ｓ４０６）。
【０１１７】
含意認識部５２３は、検索結果（関連文書）から、受信したキーフレーズと共通の意味を有する類似情報、及び抽出元となった関連文書のタイトルを抽出し（Ｓ４０７）、抽出した類似情報及びタイトルを類似情報記憶部５２４に送信する（Ｓ４０８）。類似情報記憶部５２４は、受信した類似情報及びタイトルを一時的に記憶し（Ｓ４０９）、記憶されている類似情報及びタイトルを送信部５２５に送信する（Ｓ４１０）。
【０１１８】
送信部５２５は、受信した類似情報及びタイトルを出力部１０８に送信する（Ｓ４１１）。そして、出力部１０８は、受信した類似情報及びタイトルを所定の表示装置に出力する（Ｓ４１２）。
【０１１９】
上記のように、本実施形態に係る情報提示システム５０１によれば、第３の実施形態のように自動作成されたキーフレーズを用いて外部検索部１０７から取得された関連文書の中から、当該キーフレーズと共通の意味を有する類似情報を抽出し、当該類似情報を会議参加者等に提示することが可能となる。
【０１２０】
（第５の実施形態）
図２８は、第５の実施形態に係る情報提示システム６０１の機能構成例を示すブロック図である。本実施形態に係る情報提示システム６０１は、第３の実施形態のように作成されたキーフレーズを用いて外部検索部１０７から取得した関連文書をクラスタリングして出力する構成を有することを特徴とする。本実施形態に係る情報提示システム６０１は、取得情報クラスタリング部６１１を含む。
【０１２１】
図２９は、第５の実施形態に係る取得情報クラスタリング部６１１の機能構成例を示すブロック図である。本実施形態に係る取得情報クラスタリング部６１１は、検索結果取得部６２１、クラスタリング部６２２、クラスタリング結果記憶部６２３、及び送信部６２４を含む。
【０１２２】
検索結果取得部６２１は、情報取得部１０６から取得された検索結果、すなわちキーフレーズ作成部４１３により作成されたキーフレーズを利用して外部検索部１０７から取得された関連文書を含む情報を取得する。
【０１２３】
クラスタリング部６２２は、検索結果取得部６２１により取得された関連文書（関連情報）に含まれる１以上の文章を、キーフレーズと共通の意味を有する１以上の文章からなる群に分類し、群毎に１以上の文章を代表する代表文章を作成する。クラスタリング部６２２は、適宜な外部サービスを利用して実現されてもよいし、管理サーバ１１やデータベースサーバ１２の処理機能を利用して実現されてもよい。
【０１２４】
クラスタリング結果記憶部６２３は、クラスタリング部６２２により作成された代表文章を含むクラスタリング結果を記憶する。
【０１２５】
送信部６２４は、クラスタリング結果記憶部６２３に記憶されたクラスタリング結果を出力部１０８に送信する。
【０１２６】
図３０は、第５の実施形態に係る取得情報クラスタリング部６１１における処理例を示すシーケンス図である。先ず、検索結果取得部６２１が情報取得部１０６から検索結果（関連文書を含む情報）を取得する（Ｓ５０１）。その後、検索結果取得部６２１は、取得した検索をクラスタリング部６２２に送信する（Ｓ５０２）。
【０１２７】
クラスタリング部６２２は、検索結果に含まれる関連文書に含まれる１以上の文章を、キーフレーズと共通の意味を有する１以上の文章からなる群に分類し、群毎に１以上の文章を代表する代表文章を作成し（Ｓ５０３）、当該代表文章を含むクラスタリング結果をクラスタリング結果記憶部６２３に送信する（Ｓ５０４）。
【０１２８】
クラスタリング結果記憶部６２３は、受信したクラスタリング結果を一時的に記憶し（Ｓ５０５）、記憶されているクラスタリング結果を送信部６２４に送信する（Ｓ５０６）。
【０１２９】
送信部６２４は、受信したクラスタリング結果を出力部１０８に送信する（Ｓ５０７）。そして、出力部１０８は、受信したクラスタリング結果を所定の表示装置に出力する（Ｓ５０８）。
【０１３０】
上記のように、本実施形態に係る情報提示システム６０１によれば、第３の実施形態のように自動作成されたキーフレーズを用いて外部検索部１０７から取得された関連文書に含まれる１以上の文章を、当該キーフレーズと共通の意味を有する１以上の文章からなる群に分類し、群毎に１以上の文章を代表する代表文章を作成し、当該代表文書を含むクラスタリング結果を会議参加者等に提示することが可能となる。
【０１３１】
（変形例）
上述した実施形態におけるテキスト化は、様々な手法により実現することができる。例えば、画像データのテキスト化に関しては、表示装置（プロジェクタ１４、ディスプレイ１５等）に表示・投影された画像からではなく、表示・投影用の電子ファイル（表示・投影用データファイル）から直接テキストデータを取得してもよい。例えば、表示・投影用データファイル（複数のファイルであってもよい）を管理サーバ１１に予めアップロードしておき、管理サーバ１１を介して表示・投影用データファイルにアクセス可能なシステムを構築してもよい。このようなシステムにおいては、通常、表示内容（画面構成）を示す表示画像信号が管理サーバ１１から表示装置に送信される。
【０１３２】
上記のような構成とすることで、表示画像信号等から直接テキストデータを抽出することができる。これにより、例えば、複数の表示装置のうちの一部に画像が表示されない場合等であっても、画像テキストデータを適切に取得することができる。このような構成は、例えば、プレゼンテーション用の資料が一部の参加者には表示装置を通して閲覧可能となっているが、他の参加者には印刷物のみにより閲覧可能となっている場合等に有効となる。
【０１３３】
また、テキスト化処理を行う機能を有する表示装置（例えば、電子黒板、ＩＷＢ（Interactive  Whiteboard）等）を用いる場合には、表示装置がＵＳＢメモリ等から直接表示用データファイルを読み込み、画像を表示させ（又は表示させずに）、表示用データファイルから直接テキストデータを取得してもよい。このような場合には、管理サーバ１１を介さずに画像テキストデータを取得することができる。
【０１３４】
また、他の記憶装置に表示・投影用データファイルが記憶されている場合には、当該表示・投影用データファイルへのアクセス権を有するデバイス（管理サーバ１１、表示装置等）が当該記憶装置から表示・投影用データファイルを取得することにより、画像テキストデータを取得することが可能である。
【０１３５】
また、複数ページの資料を用いる場合には、進行状況、ページ数等を示す発言の音声データに基づいて、どのページについての発言かを推測する処理を行うことが好ましい。
【０１３６】
以上、本発明の実施形態を説明したが、上記実施形態は例として提示したものであり、発明の範囲を限定することを意図するものではない。この新規な実施形態はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更、及び組み合わせを行うことができる。この実施形態及びその変形は発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３７】
１，３０１，４０１  情報提示システム
１１  管理サーバ
１２  データベースサーバ
１３  マイク
１４  プロジェクタ
１５  ディスプレイ
１６  クライアント端末
１９  ネットワーク
２１  ＣＰＵ
２２  ＲＡＭ
２３  ＲＯＭ
２４  ストレージ
２５  入力デバイス
２６  出力デバイス
２７  通信Ｉ／Ｆ
１０１  音声データ取得部
１０２  画像データ取得部
１０３，３１２  キーワード取得部
１０４  入力部
１０５  テキスト化部
１０６  情報取得部
１０７，３１３  外部検索部
１０８  出力部
１０９  外部出力部
１２１  外部ソース
１２２  外部ソース連携部
１２３  クロール制御部
１２４  文書収集部
１２５  インデックス記憶部
１２６，３３１  文書検索部
１３０  インデックス情報
１３１  入力データ受信部
１３２  入力データ処理部
１３３  テキスト送信部
１３４  認識データ記憶部
１４１  音声処理部
１４２  画像処理部
１４３  キーワード処理部
１５０  認識データ情報
１５１  テキスト受信部
１５２  テキスト選択部
１５３  クエリ生成部
１５４  検索呼出部
１５５  検索結果送信部
２０１  設定画面
２０２  キーワード入力部
２０３  データベース選択部
２０４  検索エンジン選択部
２１１  検索結果表示画面
２１２  関連情報表示部
２１３  関連度表示部
３０２  ＳＮＳシステム
３１１  ＳＮＳ通信部
３２１  キーワードデータ取得部
３２２  正規化部
３３２  外部ネットワーク連携部
３３５  インターネット
３５１  ＳＮＳ画面
３５２  キーワード入力部
３５３  キーワード表示部
３５４  関連情報表示部
４１２  類似文章抽出部
４１３  キーフレーズ作成部
５１１  類似情報抽出部
６１１  取得情報クラスタリング部
【先行技術文献】
【特許文献】
【０１３８】
【特許文献１】特開２０１７−１１１６７８号公報
【図１】
2019102060.tif 000003
【図２】
2019102060.tif 000004
【図３】
2019102060.tif 000005
【図４】
2019102060.tif 000006
【図５】
2019102060.tif 000007
【図６】
2019102060.tif 000008
【図７】
2019102060.tif 000009
【図８】
2019102060.tif 000010
【図９】
2019102060.tif 000011
【図１０】
2019102060.tif 000012
【図１１】
2019102060.tif 000013
【図１２】
2019102060.tif 000014
【図１３】
2019102060.tif 000015
【図１４】
2019102060.tif 000016
【図１５】
2019102060.tif 000017
【図１６】
2019102060.tif 000018
【図１７】
2019102060.tif 000019
【図１８】
2019102060.tif 000020
【図１９】
2019102060.tif 000021
【図２０】
2019102060.tif 000022
【図２１】
2019102060.tif 000023
【図２２】
2019102060.tif 000024
【図２３】
2019102060.tif 000025
【図２４】
2019102060.tif 000026
【図２５】
2019102060.tif 000027
【図２６】
2019102060.tif 000028
【図２７】
2019102060.tif 000029
【図２８】
2019102060.tif 000030
【図２９】
2019102060.tif 000031
【図３０】
2019102060.tif 000032