(57)【要約】【課題】会議を円滑に進行させるための情報を発話者に提供する。【解決手段】表示制御装置は、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する情報生成部と、複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力するとともに、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報を出力する結果出力処理部とを備える。【選択図】図１
2014013494.tif 000002
【特許請求の範囲】
【請求項１】
発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する情報生成部と、
複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力するとともに、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報を出力する結果出力処理部と
を備えることを特徴とする表示制御装置。
【請求項２】
前記情報生成部は、
前記複数の発話者が発した音声から抽出した前記発話者の発言内容に基づいた前記第１情報を生成するとともに、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声から抽出した前記何れかの発話者の発言内容に基づいた前記第２情報を生成する
ことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記結果出力処理部は、
複数の画面に表示させる情報として、第１画面に表示させる前記第１検索情報及び第２画面に表示させる前記第２検索情報を出力する
ことを特徴とする請求項１又は請求項２に記載の表示制御装置。
【請求項４】
前記情報生成部は、
前記発話者の状態を検出し、前記状態が検出された発話者が発した音声に対応付けられる第２情報を生成し、
前記結果出力処理部は、
前記状態が検出された発話者が発した音声に対応付けられる第２情報に基づいた前記第２検索情報を得る
ことを特徴とする請求項３に記載の表示制御装置。
【請求項５】
前記情報生成部は、
前記発話者の位置を検出することにより前記発話者を識別し、前記識別された前記発話者が発した音声に対応付けられる第２情報を生成し、
前記結果出力処理部は、
前記識別された発話者が発した音声に対応付けられる第２情報に基づいた前記第２検索情報を得る
ことを特徴とする請求項４に記載の表示制御装置。
【請求項６】
前記情報生成部は、
第２画面を見ている前記発話者を識別し、前記識別された発話者が発した音声に対応付けられる第２情報を生成する、
ことを特徴とする請求項３から請求項５の何れか１項に記載の表示制御装置。
【請求項７】
前記情報生成部は、
前記第２画面を見ていると識別された前記発話者が発した音声の音声情報から、前記発話者が発言した発言内容と識別された情報から抽出された前記第２情報を生成する
ことを特徴とする請求項６に記載の表示制御装置。
【請求項８】
前記情報生成部は、
前記発話者の状態に応じて前記第２情報を生成する
ことを特徴とする請求項４から請求項７の何れか１項に記載の表示制御装置。
【請求項９】
前記結果出力処理部は、
前記第２の検索結果のうちから選択する前記第２検索情報を、前記発話者の状態に応じて選択する
ことを特徴とする請求項４から請求項８の何れか１項に記載の表示制御装置。
【請求項１０】
前記情報生成部は、
前記発話者の状態を、検出された前記発話者の姿勢により識別する
ことを特徴とする請求項４から請求項９の何れか１項に記載の表示制御装置。
【請求項１１】
前記情報生成部は、
前記発話者の状態を、検出された前記発話者の発言頻度（積極性）により識別する
ことを特徴とする請求項４から請求項１０の何れか１項に記載の表示制御装置。
【請求項１２】
前記情報生成部は、
前記第１検索情報を検索する検索条件になる前記第１情報と、前記第２検索情報を検索する検索条件になる前記第２情報とが互いに異なるように、前記第１情報と前記第２情報とを生成する
ことを特徴とする請求項１から請求項１１の何れか１項に記載の表示制御装置。
【請求項１３】
前記結果出力処理部は、
前記第１検索情報を得られた順に出力し、
前記第２検索情報を出力する優先度に応じた順に出力する
ことを特徴とする請求項１から請求項１２の何れか１項に記載の表示制御装置。
【請求項１４】
前記情報生成部は、
前記複数の発話者が発した音声に含まれる単語を抽出する抽出部と、
前記抽出部によって抽出された前記単語に基づく検索条件を定める前記第１情報に基づいた検索を検索手段に実行させ、前記第１の検索結果を得るように制御する検索処理制御部と、
を備え、
前記検索処理制御部は、
前記検索条件を広めていく第１の検索モードと、前記検索条件を狭めていく第２の検索モードとを有する
ことを特徴とする請求項１から請求項１３の何れか１項に記載の表示制御装置。
【請求項１５】
前記情報生成部は、
前記発話者によって発せられた音声の音声情報を文字情報に変換する変換部と、
前記発話者の重要度に基づいて、前記文字情報から特定の文字情報を選択する選択部と、
入力された文字情報に関連する情報を検索する検索手段に、前記選択部によって選択された前記特定の文字情報を前記第１情報として出力する出力部と、
を備え、
前記結果出力処理部は、
前記検索手段による前記第１の検索結果に応じた前記第１検索情報を出力する
ことを特徴とする請求項１から請求項１４の何れか１項に記載の表示制御装置。
【請求項１６】
前記表示制御装置に対して行われる操作を検出する操作検出部と、
を備え、
前記操作検出部は、
前記操作が、前記第１検索情報を表示する表示部の駆動に関する第一操作か、外部装置の駆動に関する第二操作かを判別し、
前記結果出力処理部は、
前記操作が前記第一操作と判別された場合に、該操作の内容に応じて前記表示部を駆動し、前記操作が前記第二操作と判別された場合に、該操作の内容に応じた駆動信号を前記外部装置へ出力する
ことを特徴とする請求項１から請求項１５の何れか１項に記載の表示制御装置。
【請求項１７】
請求項１に記載の表示制御装置
を備え、
前記表示制御装置は、
前記第１検索情報を表示部に表示させ、前記第２検索情報を外部装置に表示させる
ことを特徴とする表示システム。
【請求項１８】
請求項１に記載の表示制御装置と、
前記表示制御装置から出力される前記第１検索情報を表示する表示部と
を備えることを特徴とする表示装置。
【請求項１９】
前記表示部は、
備える表示面に球面の一部又は平面を含む
ことを特徴とする請求項１８に記載の表示装置。
【請求項２０】
前記表示部に画像を投影する画像投影部と、
を備え、
前記表示制御装置は、
少なくとも外部装置に表示する前記第２検索情報を出力する信号出力部と、
該表示制御装置に対して行われる操作を検出する操作検出部と、
を備え、
前記表示制御装置は、
前記操作が、前記表示部の駆動に関する第一操作か、前記外部装置の駆動に関する第二操作かを判別し、前記操作が前記第一操作と判別された場合、該操作の内容に応じて前記表示部を駆動し、前記操作が前記第二操作と判別された場合に、該操作の内容に応じた駆動信号を前記信号出力部より前記外部装置へ出力する
ことを特徴とする請求項１８又は請求項１９に記載の表示装置。
【請求項２１】
請求項１に記載の表示制御装置と、
前記第１検索情報を表示する端末表示部と、
を備え、
前記結果出力処理部は、
前記第１検索情報を前記端末表示部に表示させる
ことを特徴とする端末装置。
【請求項２２】
請求項１に記載の表示制御装置によって制御される端末装置であって、
前記第１検索情報を表示する端末表示部と、
前記第１検索情報を前記表示制御装置から得て前記端末表示部に表示させる端末制御部と
を備えることを特徴とする端末装置。
【請求項２３】
発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する過程と、
複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力する過程と、
少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報を出力する過程と、
を含むことを特徴とする表示制御方法。
【請求項２４】
表示制御装置が備えるコンピュータに、
発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、
複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力するステップと、
少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報をさらに出力するステップ
を実行させるためのプログラム。
【請求項２５】
表示制御装置と、前記表示制御装置が出力した情報を表示する表示部とを備える表示装置が備えるコンピュータに、
発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、
複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力するステップと、
少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報をさらに出力するステップと、
前記第１検索情報及び前記第２検索情報の何れかを前記表示部に表示させるステップと、
を実行させるためのプログラム。
【請求項２６】
端末表示部を備えている端末装置が備えるコンピュータに、
発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、
複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を前記端末表示部に表示させるステップと、
少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報を出力するステップと、
を実行させるためのプログラム。
【請求項２７】
備える端末表示部に表示する表示内容が、請求項１に記載の表示制御装置によって制御される端末装置が備えるコンピュータに、
前記端末表示部が前記第１検索情報を表示するステップと、
前記第１検索情報を前記表示制御装置から得て前記端末表示部に表示させるステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、複数の発話者（参加者）が参加する会議において、この会議の話題とされている情報を複数の発話者が共有できるように、設けられた表示装置に当該情報を表示させて会議が行われる場合がある。上記のようにして行われる会議においては、複数の発話者のうちの何れかの発話者が、会議の進行に応じて変化する会議の話題に合うように、表示装置に表示させる情報を順次切り替えて表示させている。このように、共有するための情報を順次切り替えて表示装置に単に表示させただけでは、各発話者は、表示されている情報が切り替えられたことをそれぞれ認識できたとしても、表示されている情報を発話者が切り替えた編集の意図まで共有することは困難であった。
ところで、情報を編集する編集作業において、情報を切り替えた編集作業の履歴情報を記録する作業状況管理装置がある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−０９８７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１による作業状況管理装置は、情報を切り替える編集作業を行った編集の意図を伝える手段を有するものではない。たとえ、上記の作業状況管理装置を会議に適用しても、順次切り替えて表示する情報を切り替えた編集の意図まで共有できず、会議を円滑に進行させるための情報を発話者に提供することができないという問題があった。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、会議を円滑に進行させるための情報を発話者に提供することができる表示制御装置、表示システム、表示装置、端末装置、表示制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態は、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する情報生成部と、複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力するとともに、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報を出力する結果出力処理部とを備えることを特徴とする表示制御装置である。
【０００７】
また、本発明の一実施形態は、上記発明に記載の表示制御装置を備え、前記表示制御装置は、前記第１検索情報を表示部に表示させ、前記第２検索情報を外部装置に表示させることを特徴とする表示システムである。
【０００８】
また、本発明の一実施形態は、上記発明に記載の表示制御装置と、前記表示制御装置から出力される前記第１検索情報を表示する表示部とを備えることを特徴とする表示装置である。
【０００９】
また、本発明の一実施形態は、上記発明に記載の表示制御装置と、前記第１検索情報を表示する端末表示部と、を備え、前記結果出力処理部は、前記第１検索情報を前記端末表示部に表示させることを特徴とする端末装置である。
【００１０】
また、本発明の一実施形態は、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成する過程と、複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力する過程と、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報を出力する過程と、を含むことを特徴とする表示制御方法である。
【００１１】
また、本発明の一実施形態は、表示制御装置が備えるコンピュータに、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力するステップと、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報をさらに出力するステップを実行させるためのプログラムである。
【００１２】
また、本発明の一実施形態は、表示制御装置と、前記表示制御装置が出力した情報を表示する表示部とを備える表示装置が備えるコンピュータに、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力するステップと、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報をさらに出力するステップと、前記第１検索情報及び前記第２検索情報の何れかを前記表示部に表示させるステップと、を実行させるためのプログラムである。
【００１３】
また、本発明の一実施形態は、端末表示部を備えている端末装置が備えるコンピュータに、発話者が発した音声から、前記発話者が発した音声に対応付けられる情報を生成するステップと、複数の前記発話者が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を前記端末表示部に表示させるステップと、少なくとも前記複数の発話者のうちの何れかの発話者が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報を出力するステップと、を実行させるためのプログラムである。
【発明の効果】
【００１４】
この発明によれば、会議を円滑に進行させるための情報を発話者に提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る表示制御装置を備える表示システムの概要を示す構成図である。
【図２】本実施形態における表示システムの利用形態の一例を示す構成図である。
【図３】本実施形態における表示部２００とディスプレイ３００とにおける表示の一例を示す図である。
【図４】本実施形態の表示システムの構成を示すブロック図である。
【図５】第２の実施形態における２つのディスプレイにおける表示の一例を示す図である。
【図６】第７の実施形態における特定の発話者が発言した発言内容に応じた情報を表示する場合を示す図である。
【図７】第７の実施形態における表示システムの構成を示すブロック図である。
【図８】第８の実施形態における表示制御装置を備える表示システムの概要を示す図である。
【図９】第８の実施形態における表示システムの構成を示すブロック図である。
【図１０】第９の実施形態における表示部を設けた表示システムの概要を示す図である。
【図１１】本発明の第１０の実施形態に係る検索結果出力装置を備える会議システムの構成の一例を示す構成図である。
【図１２】本実施形態における会議システムの利用形態の一例を示す構成図である。
【図１３】本実施形態における会議システムの構成の一例を示すブロック図である。
【図１４】本実施形態における検索手段制御装置の動作の一例を示すフローチャートである。
【図１５】本実施形態における選択部の動作の一例を示すフローチャートである。
【図１６】本発明の第１１の実施形態に係る検索結果出力装置の構成の一例を示すブロック図である。
【図１７】本実施形態における半球状に構成されたディスプレイに出力する会議システムの一例を示す構成図である。ＳＳ
【図１８】第１２の実施形態による検索装置の構成の一例を示す第１の図である。
【図１９】本実施形態における検索装置のブロック図である。
【図２０】本実施形態における話題提供モードの処理の一例を示すフローチャートである。
【図２１】本実施形態における会話追跡モードの処理の一例を示すフローチャートである。
【図２２】本実施形態における話題提供モードの第１の変形例を示すフローチャートである。
【図２３】本実施形態における話題提供モードの第２の変形例を示すフローチャートである。
【図２４】第１３の実施形態における検索装置のブロック図である。
【図２５】本実施形態における会話追跡モードの処理の一例を示すフローチャートである。
【図２６】本実施形態による検索装置の構成の一例を示す第２の図である。
【図２７】第１４の実施形態における検索装置のブロック図である。
【図２８】本実施形態における会話追跡モードの処理の一例を示すフローチャートである。
【図２９】第１５の実施形態における会話追跡モードの処理の一例を示すフローチャートである。
【図３０】第１６の実施形態における検索装置のブロック図である。ＲＲ
【図３１】第１７の実施形態である画像表示装置の概念構成図である。
【図３２】モード操作制御部による操作モード判定の説明図である。
【図３３】表示部への操作モードの表示の説明図である。
【図３４】第１８の実施形態における画像表示装置の概念構成図である。
【図３５】第１９の実施形態における画像表示装置の概念構成図である。
【図３６】第２０の実施形態における画像表示装置の概念構成図である。
【図３７】第２１の実施形態における画像表示装置の概念構成図である。
【発明を実施するための形態】
【００１６】
［第１の実施形態]
以下、図面を参照して、本発明の第１の実施形態を説明する。
図１は、本実施形態における表示制御装置を備える表示システムの概要を示す構成図である。
この図１に示される表示システム１０００は、表示制御装置１１００を備えている。
表示制御装置１１００には、収音部１０１、表示部２００及びディスプレイ３００（端末装置）が接続されている。また、表示制御装置１１００は、収音部１０１及び表示部２００とともに、例えば、机３に設けられている。なお、表示制御装置１１００（端末制御部）と表示部２００（端末表示部）を一体化して、端末装置１１００Ｓとしてもよい。
【００１７】
表示部２００は、入力された画像情報に応じた画像を表示する。本実施形態の表示部２００は、表示されている画像が机３の周囲にいる人（発話者２）から視認されるように、例えば、机３の天板面に設けられている。
ディスプレイ３００は、入力された画像情報に応じた画像を表示する。本実施形態のディスプレイ３００は、表示されている画像が机３の周囲にいる人（発話者２）から視認されるように、例えば、机３の近傍に設けられている。また、ディスプレイ３００は、略水平方向に法線が向けられた表示面を備えており、例えば、該表示面の法線が机３の方向に向けられている。
【００１８】
収音部１０１は、例えば、音声を収音するマイクロフォンを備えており、複数の発話者２によって発せられた音声を収音する。本実施形態の収音部１０１には、例えば、収音部１０１Ａ、収音部１０１Ｂ、収音部１０１Ｃ、収音部１０１Ｄの４つの収音部１０１が含まれており、それぞれ、発話者２によって発せられた音声を収音する。ここで、収音部１０１Ａは、例えば、方向ＤＲ１に発せられた音声を収音する。同様に、収音部１０１Ｂは、例えば、方向ＤＲ２に発せられた音声を、収音部１０１Ｃは、例えば、方向ＤＲ３に発せられた音声を、収音部１０１Ｄは、例えば、方向ＤＲ４に発せられた音声を、それぞれ収音する。例えば、図２に示すように、収音部１０１は、机３の所定の位置、例えば、収音部１０１Ａ、１０１Ｂ、１０１Ｃ、１０１Ｄに対応する位置に着席している発話者２Ａ、２Ｂ、２Ｃ、２Ｄの４人の発話者２によって発せられた音声を収音するような感度特性（指向性）を有している。
【００１９】
また、表示制御装置１１００は、ネットワーク１５を介して検索手段１１に接続されている。
検索手段１１は、入力された文字情報に関連する情報を検索する。本実施形態の検索手段１１は、例えば、インターネットやＬＡＮなどのネットワーク１５を介して入力された文字情報に関連する情報を検索する検索エンジンである。また、検索手段１１は、入力された文字情報に関連する情報を検索した結果を検索結果としてネットワーク１５を介して表示制御装置１１００に出力する。
【００２０】
図２は、表示システムの利用形態の一例を示す構成図である。
この図２において、机３は、発話者２Ａ、２Ｂ、２Ｃ、２Ｄによって囲まれるように設けられる。机３に設けられている収音部１０１Ａは、主に発話者２Ａによって発せられた音声を収音する。同様に、収音部１０１Ｂは、主に発話者２Ｂによって、収音部１０１Ｃは、主に発話者２Ｃによって、収音部１０１Ｄは、主に発話者２Ｄによって、それぞれ発せられた音声を収音する。ここで、例えば、表示システム１０００は、収音部１０１Ａ、１０１Ｂ、１０１Ｃ、１０１Ｄのうちの、いずれの収音部１０１に音声が収音されたかを検出することによって、いずれの発話者２によって音声が発せられたのかを判定することができる。
また、この場合において、表示部２００は、表示した画像が発話者２Ａ、２Ｂ、２Ｃ、２Ｄから視認されるように、発話者２Ａ、２Ｂ、２Ｃ、２Ｄに対して画像を表示している。
【００２１】
次に、図３を参照して、表示部２００とディスプレイ３００の表示を示す。
図３は、表示部２００とディスプレイ３００とにおける表示の一例を示す図である。この図３においては、表示部２００が設けられた机３の天板面を平面視した状態を示す。
この図３に示すように、２つのディスプレイのうち一方の表示部２００には、例えば、発話者２（複数の発話者）がそれぞれ発言した発言内容に応じた情報がそれぞれ表示されている。表示部２００の表示面において上記情報がそれぞれ表示されている領域は、各々の発話者２に近い位置に設けられている。
例えば、表示部２００の表示面において、表示面の一部の領域を示す領域ＺＡ、ＺＢ、ＺＣ、ＺＤが、発話者２Ａ、２Ｂ、２Ｃ、２Ｄに近い位置にそれぞれ設けられている。この領域ＺＡには、発話者２Ａの発言内容（発話内容）に応じた情報「Ａ」が表示されている。他の発話者についても発話者２Ａと同様に、領域ＺＢには、発話者２Ｂの発言内容（発話内容）に応じた情報「Ｂ」が表示され、領域ＺＣには、発話者２Ｃの発言内容（発話内容）に応じた情報「Ｃ」が表示され、領域ＺＤには、発話者２Ｄの発言内容（発話内容）に応じた情報「Ｄ」が表示されている。
【００２２】
このように、結果出力処理部１１２０（図４）が、表示部２００にそれぞれの情報を表示することにより、例えば、発話者２は、各々発言した発言内容が、情報生成部１１１０（図４）によって正しく検出され、検出された発言内容に応じた情報が正しく表示されているか否かを各々確認することができる。
また、２つのディスプレイのうち他方のディスプレイ３００には、結果出力処理部１１２０によって、全ての発話者２のうち複数の発話者２の発話内容に応じた情報の論理積（ＡＮＤ条件）から得られる情報「Ｅ」が表示されている。なお、この情報「Ｅ」は、全ての発話者２の発話内容に応じた情報の論理積（ＡＮＤ条件）から得られる情報であってもよい。
【００２３】
なお、この図３に示すように、全ての発話者２に応じた情報を表示する場合に限らず、一部の発話者２に応じた情報を表示するようにしてもよい。
なお、表示部２００に「Ａ」から「Ｄ」として表示される情報は、発話者２がそれぞれ発した音声から発話者２がそれぞれ発言した発言内容として抽出された情報、発話者２がそれぞれ発した音声に対応付けられる情報（第１情報）、発話者２がそれぞれ発した音声に対応付けられる情報（第１情報）に基づいて検索された検索結果（第１の検索結果）、同検索結果（第１の検索結果）に応じた画像情報（第１検索情報）などのうちから選択された情報としてもよい。
【００２４】
図４を参照し、表示システム１０００の構成の詳細について説明する。
図４は、本実施形態の表示システムの構成を示すブロック図である。
この図４には、表示システム１０００に係る表示制御装置１１００、収音部１０１、表示部２００、ディスプレイ３００、検索手段１１が示されている。
収音部１０１（収音部１０１Ａ、収音部１０１Ｂ、収音部１０１Ｃ、収音部１０１Ｄ）は、上述したように、複数の発話者２によって発せられた音声を収音する。
表示制御装置１１００は、収音部１０１によって集音された発話者２が発した音声から、発話者２の発言内容に基づいた情報を得て、表示部２００とディスプレイ３００に表示させる。
【００２５】
表示制御装置１１００は、情報生成部１１１０と、結果出力処理部１１２０とを備えている。
情報生成部１１１０は、発話者２が発した音声から、発話者２が発した音声に対応付けられる情報を生成する。
例えば、発話者２が発した音声から生成される情報であって、発話者２が発した音声に対応付けられる情報には、以下に記す情報のうち何れかの情報を含む。上記情報の一例として、発話者２が発した音声の一部を抽出した音片情報、発話者２が発した音声に含まれる周波数スペクトル情報、発話者２が発した音声から抽出したテキスト情報、発話者２が発した音声から抽出した単語情報、発話者２が発言した発言内容として抽出された情報、及び、上記の情報に対応づけられる情報などがあげられる。発話者２が発した音声から上記の情報を生成する処理には、既知の音声信号処理、或は、複数の既知の音声信号処理を組み合わせた処理を適用できる。
例えば、情報生成部１１１０は、複数の発話者２が発した音声から抽出した発話者２の発言内容に基づいた第１情報を生成するとともに、少なくとも複数の発話者２のうちの何れかの発話者２が発した音声から抽出した何れかの発話者２の発言内容に基づいた第２情報を生成する。本実施形態の以下の説明においては、発話者２が発した音声から抽出した発話者２の発言内容に基づいた情報に基づいた処理を中心に説明する。
【００２６】
また、情報生成部１１１０は、発話者２の状態を検出し、状態が検出された発話者２が発した音声に対応付けられる第２情報を生成する。
例えば、情報生成部１１１０が検出する発話者２の状態には、発話者２の姿勢、顔が向けられている方向、顔の表情、発言頻度、声の大きさ（音声の信号強度）、声の質、声の調子、発話者２の位置などが上げられる。情報生成部１１１０は、上記の発話者２の状態を判定した判定結果に基づいて、処理の対象とされる特定の発話者２を、複数の発話者２のうちから特定する。
【００２７】
本実施形態の以下の説明においては、例えば、情報生成部１１１０は、発話者２の位置を検出することにより発話者２を識別し、識別された発話者２が発した音声に対応付けられる第２情報を生成するものとする。
上記の処理における発話者２の位置を検出する処理は、複数の収音部１０１によって集音された音声の信号強度、位相差に基づいて検出する既知の音声信号処理を適用することができる。
【００２８】
また、さらに、情報生成部１１１０は、第２画面を見ている発話者２を識別し、識別された発話者２が発した音声に対応付けられる第２情報を生成してもよい。
【００２９】
また、さらに、情報生成部１１１０は、第２画面を見ていると識別された発話者２が発した音声の音声情報から、発話者２が発言した発言内容と識別された情報（例えば、テキスト情報）から抽出された第２情報（例えば、単語情報）を生成する。
【００３０】
また、情報生成部１１１０は、発話者２の状態に応じて第２情報を生成する。例えば、情報生成部１１１０は、発話者２の状態を、検出された発話者２の姿勢により識別してもよい。或は、情報生成部１１１０は、発話者２の状態を、検出された発話者２の発言頻度（積極性）により識別してもよい。
【００３１】
さらに、情報生成部１１１０は、第１検索情報を検索する検索条件になる第１情報と、第２検索情報を検索する検索条件になる第２情報とが互いに異なるように、第１情報と第２情報とを生成する。
このような情報生成部１１１０は、生成した第１情報と第２情報とを検索手段１１に送り、第１情報と第２情報とに基づいて検索手段１１における検索を実行させる。
【００３２】
結果出力処理部１１２０は、第１情報に基づいて検索された第１の検索結果を検索手段１１から得る。
また、結果出力処理部１１２０は、第２情報に基づいて検索された第２の検索結果を検索手段１１から得る。なお、結果出力処理部１１２０は、第１情報に基づいて検索された第１の検索結果のうちから、第２情報に基づいて選択して第２の検索結果を得てもよい。
【００３３】
このような結果出力処理部１１２０は、複数の発話者２が発した音声に対応付けられる第１情報に基づいて検索された第１の検索結果に応じた第１検索情報を出力する。また、結果出力処理部１１２０は、上記のように第１検索情報を出力するとともに、少なくとも複数の発話者２のうちの何れかの発話者２が発した音声に対応付けられる第２情報に基づいて検索された第２の検索結果に応じた第２検索情報を出力する。ここで、例えば、第１検索情報は、表示部２００に表示させる情報であり、第２検索情報は、ディスプレイ３００に表示させる情報である。第１検索情報と第２検索情報のそれぞれは、表示部２００とディスプレイ３００とに表示させる画像情報に含まれる情報として結果出力処理部１１２０から出力される。第１検索情報と第２検索情報のそれぞれは、テキスト情報、図形情報、画像情報、及び、それぞれを組み合わせ情報の何れでもよい。
【００３４】
また、結果出力処理部１１２０は、複数の画面に表示させる情報として、第１画面に表示させる第１検索情報及び第２画面に表示させる第２検索情報を出力する。例えば、第１検索情報は、表示部２００に表示させる第１画面に含まれる情報である。より具体的には。第１検索情報は、例えば、以下に記す情報のうち何れかの情報から検索された検索結果に基づいた情報である。第１検索情報を得る検索を行うための情報の一例として、発話者２が発した音声の一部を抽出した音片情報、発話者２が発した音声に含まれる周波数スペクトル情報、発話者２が発した音声から抽出したテキスト情報、発話者２が発した音声から抽出した単語情報、発話者２が発言した発言内容として抽出された情報、及び、上記の情報に対応づけられる情報などがあげられる。また、例えば、第２検索情報は、ディスプレイ３００に表示させる第２画面に含まれる情報である。
【００３５】
また、結果出力処理部１１２０は、情報生成部１１１０が発話者２の状態を検出し、状態が検出された発話者２が発した音声に対応付けられる第２情報を生成した場合に、状態が検出された発話者２が発した音声に対応付けられる第２情報に基づいた第２検索情報を得る。或は、結果出力処理部１１２０は、情報生成部１１１０が発話者２の位置を検出することにより発話者２を識別し、識別された発話者２が発した音声に対応付けられる第２情報を生成した場合に、識別された発話者２が発した音声に対応付けられる第２情報に基づいた第２検索情報を得る。
また、結果出力処理部１１２０は、情報生成部１１１０が第２画面を見ている発話者２を識別し、識別された発話者２が発した音声に対応付けられる第２情報を生成した場合に、識別された発話者２が発した音声に対応付けられる第２情報に基づいた第２検索情報を得る。
【００３６】
また、結果出力処理部１１２０は、第２の検索結果のうちから選択する第２検索情報を、発話者２の状態に応じて選択する。また、結果出力処理部１１２０は、第１検索情報を得られた順に出力し、第２検索情報を出力する優先度に応じた順に出力する。
【００３７】
次に、表示制御装置１１００における処理の一実施態様について説明する。
【００３８】
（手順１）情報生成部１１１０は、複数の発話者２が発した音声を検出し、検出した音声に対応付けられる情報を生成する。
【００３９】
（手順２）情報生成部１１１０は、上記手順１において生成された情報、すなわち複数の前記発話者が発した音声に対応付けられる第１情報に基づいて、検索手段１１に検索させる。例えば、情報生成部１１１０は、発話者２が発言した発言内容として抽出された情報（キーワード）を第１情報とする。
【００４０】
（手順３）結果出力処理部１１２０は、複数の前記発話者が発した音声に対応付けられる第１情報に基づいて、検索手段１１によって検索された第１の検索結果を得る。例えば、結果出力処理部１１２０は、発話者２が発言した発言内容に含まれる情報（キーワード）に基づいた検索により、第１の検索結果を得る。
【００４１】
（手順４）結果出力処理部１１２０は、第１の検索結果に応じた第１検索情報を生成し、生成した第１検索情報を表示部２００に出力する。例えば、結果出力処理部１１２０は、第１の検索結果として得た情報を示す画像情報（第１検索情報）を生成し、生成した画像情報を表示部２００に出力する。
【００４２】
（手順５）結果出力処理部１１２０は、少なくとも複数の発話者２のうちの何れかの発話者２が発した音声に対応付けられる第２情報に基づいて、検索手段１１によって検索された第２の検索結果を得る。例えば、例えば、情報生成部１１１０は、少なくとも複数の発話者２のうちの何れかの発話者２（特定の発話者２）が発言した発言内容として抽出された情報（キーワード）を第２情報とする。結果出力処理部１１２０は、特定の発話者２が発言した発言内容に含まれる情報（キーワード）に基づいて検索された第２の検索結果を得る。
【００４３】
（手順６）結果出力処理部１１２０は、第２の検索結果に応じた第２検索情報を生成し、生成した第２検索情報をディスプレイ３００に出力する。例えば、結果出力処理部１１２０は、特定の発話者２が一人の場合、第２の検索結果として得た情報を示す画像情報（第２検索情報）を生成し、生成した画像情報をディスプレイ３００に出力する。或は、結果出力処理部１１２０は、特定の発話者２が複数の場合、第２の検索結果として得た複数の情報に基づいた論理演算処理を行う。そして、結果出力処理部１１２０は、演算処理の検索結果に基づいた画像情報（第２検索情報）を生成し、生成した画像情報をディスプレイ３００に出力する。
例えば、上記の演算処理において、結果出力処理部１１２０は、複数の検索結果に基づいた論理積（ＡＮＤ）、又は、論理和（ＯＲ）による論理演算処理、若しくは、発話者２の重要度に応じた重み付け演算により得られた優先度処理を行う。
【００４４】
上記の手順に従って、表示制御処理を行うことにより、表示制御装置１１００は、前述の図３に示すように、得られた結果を表示部２００とディスプレイ３００に表示させることができる。
【００４５】
［第２の実施形態］
次に、図５を参照して、表示部２００とディスプレイ３００の表示を示す。
図５は、２つのディスプレイにおける表示の一例を示す図である。この図５においては、表示部２００が設けられた机３の天板面を平面視した状態を示す。
この図５に示す表示部２００の表示面において、図３に示した領域ＺＡ、ＺＢ、ＺＣ、ＺＤに加え、表示部２００の表示面の一部の領域を示す領域ＺＥがさらに設けられている。領域ＺＥは、机３の天板面を平面視した場合における表示部２００の表示面の中央部分に配置される。この領域ＺＥには、ディスプレイ３００に表示した情報「Ｅ」が、領域ＺＥの広さに応じて縮小されて表示されている。
このように、結果出力処理部１１２０（図４）は、表示部２００の表示面に領域ＺＥが設けられており、表示部２００の表示面における領域ＺＥにも情報「Ｅ」を表示させている。これにより、各発話者２は、ディスプレイ３００の方向を向かなくても、表示されている情報「Ｅ」を確認できるようになる。要するに、仮に図３のように表示した場合、机３に対してディスプレイ３００側に位置する発話者２において、発話者２の正面側に机３があり、背面側にディスプレイ３００がある。このような、発話者２は、振り向かなければディスプレイ３００の表示を確認することができないが、図５のように表示することにより振り向くことなく情報「Ｅ」を確認することができるようになる。
【００４６】
［第３の実施形態］
次に、図１から図４を参照して、特定の発話者２が発言した発言内容に応じた情報をディスプレイ３００に表示する場合について説明する。
【００４７】
本実施形態においては、前述の（手順１）に代え、（手順１−１）を実施して、（手順２）から（手順６）を実施する。
（手順１−１）情報生成部１１１０は、複数の発話者２が発した音声を検出し、検出した音声と各発話者との対応付けを行い、検出した音声の信号レベルが大きい発話者２を特定する。情報生成部１１１０は、検出した音声の信号レベルが大きい発話者２の音声として検出した音声に対応付けられる情報を生成する。
【００４８】
なお、上記（手順１−１）における音声の信号レベルが大きい発話者２を特定する構成の詳細な説明は後述とする。
なお、情報生成部１１１０は、上記（手順１−１）における発話者２の特定を発話者２の状態に応じて行うこととしてもよい。発話者２の特定を発話者２の状態に応じて行う場合、発話者２が発した音声の大きさ（信号レベル）に代え、発話者２の姿勢、顔が向けられている方向、声の質、声の調子、発話者２の位置などに基づいて実施してもよい。収音部１０１の集音特性に指向性があることにより、情報生成部１１１０は、上記発話者２の状態に応じて行う発話者２の特定を、検出した発話者２が発した音声の大きさ（信号レベル）に基づいて実施することができる。
【００４９】
［第４の実施形態］
次に、図１から図４を参照して、特定の発話者２が発言した発言内容に応じた情報をディスプレイ３００に表示する場合について説明する。
【００５０】
本実施形態においては、前述の（手順１）に代え、（手順１−２）を実施して、（手順２）から（手順６）を実施する。
（手順１−２）情報生成部１１１０は、複数の発話者２が発した音声を検出し、検出した音声から各発話者の位置を検出する。情報生成部１１１０は、検出した音声と各発話者との対応付けを行うとともに、検出した各発話者の位置に応じて、発話者２を特定する。情報生成部１１１０は、特定した発話者２の音声に対応付けられる情報を生成する。
ここで、情報生成部１１１０は、例えば、ディスプレイ３００に近い位置において発言している発話者２を特定する。これにより、情報生成部１１１０は、ディスプレイ３００に表示されている情報を参照して、発言している発話者２として特定することができる。
なお、上記（手順１−２）における音声から各発話者の位置を特定する構成の詳細な説明は後述とする。
【００５１】
［第５の実施形態］
次に、図１から図４を参照して、特定の発話者２が発言した発言内容に応じた情報をディスプレイ３００に表示する場合について説明する。
【００５２】
本実施形態においては、前述の（手順１）に代え、（手順１−３）を実施して、（手順２）から（手順６）を実施する。
（手順１−３）情報生成部１１１０は、複数の発話者２が発した音声を検出し、検出した音声から各発話者２の発言頻度を検出し、検出した発言頻度情報を記憶領域に記憶させる。情報生成部１１１０は、検出した音声と各発話者との対応付けを行うとともに、検出した各発話者２の発言頻度情報に応じて、発言頻度の多い発話者２を特定する。情報生成部１１１０は、特定した発話者２の音声に対応付けられる情報を生成する。
ここで、情報生成部１１１０は、例えば、発言頻度情報に応じて発話者２の発言量を検出することにより、積極的に発言している発話者２を特定することができる。
なお、上記（手順１−３）における音声から、発言頻度の多い発話者を特定する構成の詳細な説明は後述とする。
【００５３】
［第６の実施形態］
次に、図１から図４を参照して、特定の発話者２が発言した発言内容に応じた情報をディスプレイ３００に表示する場合について説明する。
【００５４】
本実施形態においては、前述の（手順１）から（手順５）に続き、次に示す（手順６−１）を実施する。
（手順６−１）結果出力処理部１１２０は、第２の検索結果に応じた第２検索情報を生成し、生成した第２検索情報をディスプレイ３００に出力する。例えば、結果出力処理部１１２０は、一人の発言中の発話者２（特定の発話者２）を特定できた場合、第２の検索結果として得た情報を示す画像情報（第２検索情報）を生成し、生成した画像情報をディスプレイ３００に出力する。或は、結果出力処理部１１２０は、複数の発言中の発話者２（特定の発話者２）を特定した場合、第２の検索結果として得た複数の情報に基づいた論理演算処理を行う。そして、結果出力処理部１１２０は、演算処理の検索結果に基づいた画像情報（第２検索情報）を生成し、生成した画像情報をディスプレイ３００に出力する。
例えば、上記の演算処理において、結果出力処理部１１２０は、複数の検索結果に基づいた論理積（ＡＮＤ）、又は、論理和（ＯＲ）による論理演算処理、若しくは、発話者２の重要度に応じた重み付け演算により得られた優先度処理を行う。
【００５５】
上記の手順に従って、表示制御処理を行うことにより、表示制御装置１１００は、前述の図３に示すように、得られた結果を表示部２００とディスプレイ３００に表示させることができる。
また、本実施形態において、結果出力処理部１１２０は、複数の検索結果に基づいた論理積（ＡＮＤ）による論理演算処理を行うことにより、複数の発話者２のうち、同じ発言内容を発言している発話者２が存在していることを検出できる。これにより、検索結果が所望の結果が得られていると判定することができる。
さらに、結果出力処理部１１２０は、異なる検索結果が得られた場合、同じ発言内容を発言していると判定できる人数を検出することにより、その人数が多いほど同じ発言内容の話題を話していると推定した確度が高いと判定することができる。このような場合、結果出力処理部１１２０は、同じ発言内容を発言していると判定した人数が多い発言内容に応じた検索結果に応じて第２検索情報を生成する。これにより、結果出力処理部１１２０は、同じ発言内容を発言していると判定した人数が多い発言内容をディスプレイ３００に表示させることができる。
【００５６】
なお、上記（手順６−１）における、特定の発話者２が発言した発言内容を特定する構成の詳細な説明は後述とする。
【００５７】
［第７の実施形態］
次に、図６を参照して、本発明の第７の実施形態を説明する。
図６は、本実施形態における表示制御装置を備える表示システムの概要を示す図である。
この図６に示される表示システム１０００Ｂは、表示制御装置１１００Ｂ（不図示）を備えている。特に明示しない場合は、上記説明における表示システム１０００を表示システム１０００Ｂに、表示制御装置１１００を表示制御装置１１００Ｂに読み替える。
表示システム１０００Ｂは、撮像部１５０を備える。撮像部１５０は、表示システム１０００Ｂの表示部２００に設けられている。この図に示される撮像部１５０は、一人の発話者２用に設けられている部分のみを示している。
撮像部１５０は、撮像素子を含む撮像装置を複数備えており、発話者２の状態を検出するための画像をそれぞれ出力する。本実施形態の撮像部１５０には、例えば、撮像部１５０Ａ、撮像部１５０Ｂ、撮像部１５０Ｃ、撮像部１５０Ｄの４つの撮像部１５０が含まれており、それぞれ、撮像方向が各発話者２の方向に向けて設けられている。ここで、撮像部１５０Ａは、例えば、方向ＤＲ１（図１）の逆方向を撮像する。同様に、撮像部１５０Ｂは、例えば、方向ＤＲ２（図１）の逆方向を撮像し、撮像部１５０Ｃは、例えば、方向ＤＲ３（図１）の逆方向を撮像し、撮像部１５０Ｄは、例えば、方向ＤＲ４（図１）の逆方向を撮像する。
【００５８】
図７を参照し、表示システム１０００Ｂの構成の詳細について説明する。
図７は、本実施形態における表示システムの構成を示すブロック図である。
この図７には、表示システム１０００Ｂに係る表示制御装置１１００Ｂ、収音部１０１、撮像部１５０、表示部２００、ディスプレイ３００、検索手段１１が示されている。
撮像部１５０（撮像部１５０Ａ、撮像部１５０Ｂ、撮像部１５０Ｃ、撮像部１５０Ｄ）は、上述したように、発話者２の状況を撮像する。
表示制御装置１１００Ｂは、撮像部１５０によって撮像された結果に基づいて、収音部１０１によって集音された発話者２が発した音声から、発話者２の発言内容に基づいた情報を得て、表示部２００とディスプレイ３００に表示させる。
【００５９】
表示制御装置１１００Ｂは、情報生成部１１１０Ｂと、結果出力処理部１１２０とを備えている。
情報生成部１１１０Ｂは、撮像部１５０から出力される発話者２の状態を検出するための画像に基づいて、発話者２の状態を検出する。情報生成部１１１０Ｂによる発話者２の状態は、既知の画像処理方法、又は、既知の画像処理方法の組み合わせにより検出できる。情報生成部１１１０Ｂは、撮像部１５０によって得られた画像に基づいて、発話者２の特定を発話者２の状態に応じて行うこととしてもよい。情報生成部１１１０Ｂは、発話者２の特定を発話者２の状態に応じて行う場合、発話者２が発した音声の大きさ（信号レベル）に代え、発話者２の姿勢、顔が向けられている方向、発話者２の位置などに基づいて実施してもよい。撮像部１５０によって撮像された画像により、情報生成部１１１０Ｂは、上記発話者２の状態に応じて発話者２を特定する。
例えば、情報生成部１１１０Ｂは、撮像部１５０によって得られた画像に基づいて、発話者２の姿勢や、発話者２が顔を向けている方向をそれぞれ検出することによって、発話者２が診ている画面を検出する。情報生成部１１１０Ｂは、発話者２がうつむき加減で撮像部１５０の方向を見ている状態であれば、表示部２００に表示されている画像を見ていると判定する。また、情報生成部１１１０Ｂは、発話者２が撮像部１５０の方向から視線をそらし、ディスプレイ３００に向かう方向に顔を向けている状態であれば、ディスプレイ３００に表示されている画像を見ていると判定する。
このように、情報生成部１１１０Ｂは、第２画面を見ている発話者２を識別し、識別された発話者２が発した音声に対応付けられる第２情報を生成してもよい。
【００６０】
また、さらに、情報生成部１１１０Ｂは、第２画面を見ていると識別された発話者２が発した音声の音声情報から、発話者２が発言した発言内容と識別された情報（例えば、テキスト情報）から抽出された第２情報（例えば、単語情報）を生成する。
【００６１】
また、情報生成部１１１０Ｂは、発話者２の状態に応じて第２情報を生成する。例えば、情報生成部１１１０Ｂは、発話者２の状態を、検出された発話者２の姿勢により識別してもよい。
【００６２】
本実施形態においては、前述の（手順１）に代え、（手順１−４）を実施して、（手順２）から（手順６）を実施する。
（手順１−４）情報生成部１１１０Ｂは、複数の発話者２が発した音声を検出し、検出した音声と各発話者との対応付けを行う。また、情報生成部１１１０Ｂは、複数の発話者２の状態（姿勢）を検出し、検出した発話者２の状態（姿勢）に応じて発話者２を特定する。例えば、情報生成部１１１０Ｂは、検出した発話者２の状態（姿勢）から、ディスプレイ３００を見ている発話者２を特定し、特定した発話者２の音声として検出した音声に対応付けられる情報を生成する。
【００６３】
このように、情報生成部１１１０Ｂは、上記（手順１−４）のように発話者２の特定を発話者２の状態に応じて行うことにより、発話者２が発した音声の大きさ（信号レベル）に代え、発話者２の姿勢、顔が向けられている方向、発話者２の位置などに基づいて特定する。
【００６４】
［第８の実施形態］
次に、図８を参照して、本発明の第８の実施形態を説明する。
図８は、本実施形態における表示制御装置を備える表示システムの概要を示す図である。
この図８に示される表示システム１０００Ｃは、表示制御装置１１００Ｃを備えている。特に明示しない場合は、上記説明における表示システム１０００を表示システム１０００Ｃに、表示制御装置１１００を表示制御装置１１００Ｃに読み替える。
表示システム１０００Ｃは、複数の表示部２００を設けた構成とする。
表示制御装置１１００Ｃには、収音部１０１、複数の表示部２００及びディスプレイ３００が接続されている。表示制御装置１１００Ｃは、何れかの表示部２００に表示させた表示内容をディスプレイ３００に表示させる。表示制御装置１１００Ｃは、複数の表示部２００のそれぞれに、最寄の発話者２の発言に応じた情報を表示させる。それぞれの表示部２００に表示させる表示内容は、表示部２００の表示面において、最寄の発話者２に近い方の領域に表示させる情報と、当該発話者２から離れた方の領域に表示させる情報を異なるものとしてもよい。
例えば、表示制御装置１１００Ｃは、複数の表示部２００のそれぞれに、最寄の発話者２の発言に応じた情報を表示させる。それぞれの表示部２００に表示する表示内容は、表示部２００の表示面において、最寄の発話者２に近い方の領域に表示する。
図９は、本実施形態における複数の表示部を設けた表示システムの概要を示す図である。
この図９に示される表示システム１０００Ｃは、複数の表示部２００に情報を表示する表示制御装置１１００を備えている。複数の表示部２００に表示する情報は、前述の表示部２００に表示する情報と同様である。
【００６５】
［第９の実施形態］
次に、図１０を参照して、表示部２００と異なる形状の表示部２００Ａについて示す。
図１０は、本実施形態における表示部を設けた表示システムの概要を示す図である。
この図１０に示される表示システム１０００Ｄは、表示制御装置１１００を備えている。
表示システム１０００Ｄは、表示部２００Ａを設けた構成とする。特に明示しない場合は、上記説明における表示部２００を表示部２００Ａに読み替える。
表示制御装置１１００Ｄには、収音部１０１、表示部２００Ａ及びディスプレイ３００が接続されている。
表示部２００Ａは、平面の表示面を有している。例えば、表示部２００Ａには、ＬＣＤなどのフラットパネル型の表示装置を適用できる。
【００６６】
次に、第１０の実施形態から第１１の実施形態までにおいて、本発明の一実施形態である情報表示システム（会議システム）について説明する。以下の説明において、発話者を特定する処理の詳細を説明する。
【００６７】
［第１０の実施形態]
以下、図面を参照して、本発明の一実施態様として適用する音声信号処理について、会議システムに適用した場合を例示して説明する。
図１１は、本実施形態における検索手段制御装置１１０１を備える会議システム１の概要を示す図である。
会議システム１は、検索手段制御装置１１０１を備えている。
検索手段制御装置１１０１は、収音部１０１を備えている。また、検索手段制御装置１１０１は、収音部１０１及び表示部２００Ａとともに、例えば、机３に備えられている。また、検索手段制御装置１１０１は、ネットワーク１５を介して検索手段１１に接続されている。
検索手段１１は、入力された文字情報に関連する情報を検索する。本実施形態の検索手段１１は、例えば、インターネットやＬＡＮなどのネットワーク１５を介して入力された文字情報に関連する情報を検索する検索エンジンである。また、検索手段１１は、入力された文字情報に関連する情報を検索した結果を検索結果としてネットワーク１５を介して検索手段制御装置１１０１に出力する。
【００６８】
表示部２００Ａは、入力された画像情報に応じた画像を表示する。本実施形態の表示部２００Ａは、表示されている画像が机３の周囲にいる人（発話者）から視認されるように、例えば、机３の天板面に埋め込まれている。
収音部１０１は、例えば、音声を収音するマイクロフォンを備えており、複数の発話者２によって発せられた音声を収音する。本実施形態の収音部１０１には、例えば、収音部１０１Ａ、収音部１０１Ｂ、収音部１０１Ｃ、収音部１０１Ｄの４つの収音部１０１が含まれており、それぞれ、発話者２によって発せられた音声を収音する。ここで、収音部１０１Ａは、例えば、方向ＤＲ１に発せられた音声を収音する。同様に、収音部１０１Ｂは、例えば、方向ＤＲ２に発せられた音声を、収音部１０１Ｃは、例えば、方向ＤＲ３に発せられた音声を、収音部１０１Ｄは、例えば、方向ＤＲ４に発せられた音声を、それぞれ収音する。例えば、図１２に示すように、収音部１０１は、机３の所定の位置、例えば、収音部１０１Ａ、１０１Ｂ、１０１Ｃ、１０１Ｄに対応する位置に着席している発話者２Ａ、２Ｂ、２Ｃ、２Ｄの４人の発話者２によって発せられた音声を収音する。
【００６９】
図１２は、発話者２に利用されている会議システム１の構成を示す構成図である。
この場合において、収音部１０１Ａは、主に発話者２Ａによって発せられた音声を収音する。同様に、収音部１０１Ｂは、主に発話者２Ｂによって、収音部１０１Ｃは、主に発話者２Ｃによって、収音部１０１Ｄは、主に発話者２Ｄによって、それぞれ発せられた音声を収音する。ここで、例えば、会議システム１は、収音部１０１Ａ、１０１Ｂ、１０１Ｃ、１０１Ｄのうちの、いずれの収音部１０１に音声が収音されたかを検出することによって、いずれの発話者２によって音声が発せられたのかを判定することができる。
また、この場合において、表示部２００Ａは、発話者２Ａ、２Ｂ、２Ｃ、２Ｄに表示した画像が視認されるように、発話者２Ａ、２Ｂ、２Ｃ、２Ｄに対して画像を表示している。
【００７０】
次に、図１３を参照して、会議システム１の構成の詳細について説明する。
図１３は、本実施形態の会議システム１の構成を示すブロック図である。
本実施形態の検索手段制御装置１１０１は、収音部１０１と、生成部１０２と、変換部１０３と、識別部１０４と、記憶部１０５と、選択部１０６と、出力部１０７と、結果選択部１０８と、設定部１０９と、結果出力部１１０とを備えている。
【００７１】
収音部１０１（収音部１０１Ａ、収音部１０１Ｂ、収音部１０１Ｃ、収音部１０１Ｄ）は、上述したように、複数の発話者２によって発せられた音声を収音する。
【００７２】
生成部１０２は、音声情報に基づいて音声が発せられた方向の情報を生成する。ここで、音声が発生られた方向とは、例えば、上述したように、図１１の方向ＤＲ１〜ＤＲ４によって示される方向である。本実施形態の生成部１０２は、例えば、複数の収音部１０１のうち、いずれの収音部１０１によって収音された音声であるかを、音声情報に基づいて判定して、音声が発せられた方向の情報を生成する。つまり、生成部１０２は、収音部１０１ごとに収音された音声の音量を示す情報に基づいて、音声が発せられた方向の情報を生成する。
【００７３】
変換部１０３は、発話者２によって発せられた音声情報を文字情報に変換する。本実施形態の変換部１０３は、例えば、入力された音声情報を、既知の音声認識手段によって音声認識して、音声情報を文字情報に変換する。
【００７４】
識別部１０４は、音声情報に基づいて、複数の発話者２のうちから当該音声情報の音声を発した発話者２を識別するとともに、識別した発話者２と当該音声情報を変換した文字情報とを関連付けて出力する。本実施形態の識別部１０４は、例えば、入力された音声情報を、既知の音声認識手段によって音声認識して、発話者２の音声の特徴を抽出する。そして、識別部１０４は、抽出した発話者２の音声の特徴ごとに音声情報を識別して、発話者２の人数を判定し、音声情報と関連付けるための情報（例えば、発話者２を識別する固有の識別ＩＤ）を、判定した発話者２ごとに付与する。例えば、識別部１０４は、発話者２Ａについて識別ＩＤとして２Ａを付与し、発話者２Ｂについて識別ＩＤとして２Ｂを付与する。識別部１０４は、発話者２Ｃ、発話者２Ｄについても同様に識別ＩＤを付与する。そして、識別部１０４は、発話者２ごとに付与した識別ＩＤを、入力された音声情報ごとに付与する。そして、識別部１０４は、入力された音声情報に付与した識別ＩＤを、変換部１０３によって、当該音声情報が変換された文字情報に対して付与する。
【００７５】
例えば、発話者２Ａによって「ライオン」という音声が発せられた場合に、識別部１０４は、入力された「ライオン」の音声情報が、発話者２Ａの音声情報の特徴と一致していると判定した場合には、音声情報としての「ライオン」に発話者２Ａの識別ＩＤとしての“２Ａ”を付与する。そして、識別部１０４は、音声情報としての「ライオン」が、変換部１０３によって変換された文字情報としての「ライオン」に、識別ＩＤ“２Ａ”を付与する。つまり、識別部１０４は、発話者２Ａと、文字情報としての「ライオン」とを関連付けて、当該文字情報を出力する。
このようにして、識別部１０４は、識別した発話者２と当該音声情報を変換した文字情報とを関連付けて出力する。
【００７６】
また、識別部１０４は、識別部１０４が識別した発話者２ごとに、発話者２が音声を発した頻度を示す頻度情報を生成し、生成した頻度情報と、発話者２とを関連付けて記憶部１０５に記憶させる。この場合において、記憶部１０５には、識別部１０４が識別した発話者２ごとに、頻度と発話者２とが関連付けられて記憶されている。
【００７７】
選択部１０６は、発話者の重要度に基づいて、文字情報から特定の文字情報を選択する。この発話者の重要度は、様々に設定されることができる。
例えば、発話者の重要度には、音声情報の重要度が含まれており、本実施形態の選択部１０６は、例えば、変換部１０３によって変換された文字情報のうちから、音声情報の重要度に基づいて、特定の文字情報を選択する。
【００７８】
具体的には、音声情報の重要度は、発話者２によって発せられた音声の音量に基づいて定められ、音声情報には、音量の情報が含まれており、選択部１０６は、音声情報に含まれている音量の情報に基づいて、文字情報のうちから特定の文字情報を選択する。例えば、この場合において選択部１０６は、音声情報のうちから、より大きな音量によって発せられた音声情報を選択し、選択した音声情報が変換された文字情報を、特定の文字情報として選択する。
【００７９】
また、具体的には、音声情報の重要度は、音声が発せられた方向に基づいて定められ、選択部１０６は、生成部１０２によって生成された、音声が発せられた方向の情報に基づいて、文字情報のうちから特定の文字情報を選択する。例えば、選択部１０６は、机３の方向（例えば、方向ＤＲ１〜ＤＲ４）のうちの、所定の方向に向かって着席している発話者２によって発せられた音声情報を選択し、選択した音声情報が変換された文字情報を、特定の文字情報として選択する。ここで、所定の方向とは、例えば、発話者２のうちの会議を主導する発話者２によって音声が発せられる方向である。なお、所定の方向は、一方向に限られず、複数の方向であってもよい。また、所定の方向には、単一の発話者２によって音声が発生された方向に限られず、複数の発話者２によって音声が発せられた方向を含んでいてもよい。
【００８０】
また、具体的には、音声情報の重要度は、音声が発せられた位置に基づいて定められ、音声情報には、位置の情報が含まれており、選択部１０６は、音声情報に含まれている位置の情報に基づいて、文字情報のうちから特定の文字情報を選択する。例えば、選択部１０６は、机３の座席の位置（例えば、収音部１０１Ａ〜１０１Ｄに対応する座席の位置）のうちの、特定の位置に着席している発話者２によって発せられた音声情報を選択し、選択した音声情報が変換された文字情報を、特定の文字情報として選択する。
【００８１】
また、例えば、発話者の重要度には、発話者２の重要度が含まれており、本実施形態の選択部１０６は、例えば、発話者２の重要度に基づいて、発話者２のうちから特定の発話者２を選択するとともに、選択した特定の発話者２に関連付けられている文字情報から特定の文字情報を選択する。つまり、選択部１０６は、変換部１０３によって変換された文字情報のうちから、特定の発話者２によって発せられた音声情報が変換された文字情報を、特定の文字情報として選択する。
【００８２】
具体的には、発話者２の重要度は、発話者２が音声を発した頻度に基づいて定められており、選択部１０６は、記憶部１０５に記憶されている頻度に基づいて、特定の発話者２を選択する。上述したように、記憶部１０５には、識別部１０４が識別した発話者２ごとに、頻度と発話者２とが関連付けられて記憶されている。例えば、本実施形態の選択部１０６は、記憶部１０５に発話者２ごと記憶されている発話の頻度に基づいて、発話の頻度が高い発話者２を特定の発話者２として選択し、選択した特定の発話者２に関連付けられている文字情報から特定の文字情報を選択する。
【００８３】
出力部１０７は、入力された文字情報に関連する情報を検索する検索手段１１に、選択部１０６によって選択された特定の文字情報を出力する。本実施形態の出力部１０７は、例えば、ネットワーク１５を介して接続されている検索手段１１との通信が可能であり、検索手段１１に対して、選択部１０６によって選択された特定の文字情報を送信する。
また、出力部１０７は、文字情報に、所定の語句が含まれているか否かに基づいて、文字情報を検索手段１１に出力するか否かを判定する。ここで、所定の語句は、例えば、「そうだね」や「へー」などの感動詞や、「いつ」や「どこで」などの疑問詞などである。例えば、出力部１０７は、文字情報に、所定の語句としての「そうだね」が含まれている場合には、文字情報を検索手段１１に出力しないと判定する。また、出力部１０７は、文字情報に、所定の語句が含まれていない場合には、文字情報を検索手段１１に出力すると判定する。
【００８４】
設定部１０９は、音声情報に基づいて、特徴量を設定する。本実施形態の設定部１０９は、例えば、収音部１０１によって収音された音声情報を取得し、取得した音声情報に含まれる特徴量を示す情報（例えば、声紋）を識別して、発話者２の性別や年齢などの属性を推定する。そして、設定部１０９は、推定した属性を、結果選択部１０８が選択に用いる特徴量として設定する。
【００８５】
結果選択部１０８は、特定の発話者２の声の特徴を示す特徴量に基づいて、検索手段１１が出力する検索結果を示す情報を選択する。ここで、特定の発話者２の声の特徴を示す特徴量は、例えば、発話者２の性別や年齢などの発話者２の属性を示す特徴量である。また、検索手段１１が出力する検索結果を示す情報は、検索手段１１に出力された文字情報が、上述したように例えば「ライオン」であれば、動物としてのライオンの写真の画像情報であったり、ライオンを飼育している動物園の名称を示す文字情報であったり、ライオンの生息地域を示す地図の画像情報などである。本実施形態の結果選択部１０８は、例えば、設定部１０９によって設定される特徴量（例えば、発話者２の性別や年齢などの属性）に応じて、検索手段１１が出力する検索結果を示す情報から、発話者２の属性に合致する情報を選択する。例えば、検索手段１１に出力された文字情報が、例えば「ライオン」である場合に、結果選択部１０８は、推定した発話者２の属性が「子ども」であれば、検索結果を示す情報のうちから、例えば、子ども向けに描かれた「ライオン」のイラストの画像情報を選択する。
【００８６】
結果出力部１１０は、結果選択部１０８によって選択された画像情報を、表示部２００Ａに出力する。このようにして、会議システム１の検索手段制御装置１１０１は、検索手段１１を制御する。
【００８７】
次に、図１４を参照して、会議システム１が備える検索手段制御装置１１０１の動作について説明する。
図１４は、本実施形態の会議システム１が備える検索手段制御装置１１０１の動作を示すフローチャートである。
まず、検索手段制御装置１１０１の収音部１０１は、発話者２によって発せられた音声情報を取得（収音）する（ステップＳ１０）。本実施形態の収音部１０１は、例えば、発話者２Ａによって発せられた音声情報を収音部１０１Ａによって収音する。この場合、発話者２Ａによって音声が発せられた方向は、図１１に示す方向ＤＲ１の方向である。つまり、収音部１０１Ａは、発話者２Ａによって方向ＤＲ１の方向に発せられた音声を収音する。
【００８８】
次に、検索手段制御装置１１０１の変換部１０３は、発話者２によって発せられた音声情報を文字情報に変換する（ステップＳ２０）。本実施形態の変換部１０３は、例えば、音声認識によって音声情報を文字情報に変換する。
【００８９】
次に、検索手段制御装置１１０１の識別部１０４は、音声情報に基づいて、複数の発話者２のうちから当該音声情報の音声を発した発話者２を識別するとともに、識別した発話者２と当該音声情報を変換した文字情報とを関連付けて出力する（ステップＳ３０）。つまり、識別部１０４は、発話者２の識別を行う。具体的には、ステップＳ１０において取得された音声情報を、既知の音声認識手段によって音声認識して、発話者２の音声の特徴を抽出する。ここで、音声の特徴には、声紋の特徴などが含まれる。そして、識別部１０４は、抽出した発話者２の音声の特徴ごとに音声情報を識別して、発話者２の人数を判定し、音声情報と関連付けるための情報（例えば、発話者２を識別する固有の識別ＩＤ）を、判定した発話者２ごとに付与する。そして、識別部１０４は、発話者２ごとに付与した識別ＩＤを、入力された音声情報ごとに付与する。そして、識別部１０４は、入力された音声情報に付与した識別ＩＤを、変換部１０３によって、当該音声情報が変換された文字情報に対して付与する。
【００９０】
次に、検索手段制御装置１１０１の識別部１０４は、識別した発話者２ごとに、発話の頻度を発話者２と関連付けて記憶部１０５に記憶させる（ステップＳ４０）。例えば、識別部１０４は、発話者２ごとに発話回数を計数し、計数した発話回数を発話者２と関連付けて記憶部１０５に記憶させる。
【００９１】
次に、検索手段制御装置１１０１の生成部１０２は、音声情報に基づいて音声が発せられた方向の情報を生成する（ステップＳ５０）。本実施形態の生成部１０２は、例えば、収音部１０１Ａが収音した音声情報に基づいて、音声が発せられた方向としての方向ＤＲ１を示す情報を生成する。
【００９２】
次に、検索手段制御装置１１０１の選択部１０６は、発話者の重要度に基づいて、文字情報から特定の文字情報を選択する（ステップＳ６０）。本実施形態の選択部１０６は、ステップＳ６０において、例えば、図１５に示す手順によって特定の文字情報を選択する。
図１５は、本実施形態の選択部１０６の動作の一例を示すフローチャートである。
まず、選択部１０６は、発話の頻度が所定のしきい値を超えているか否かを判定する（ステップＳ６０１）。本実施形態の選択部１０６は、例えば、記憶部１０５に記憶されている発話者２が音声を発した頻度の情報（例えば、発話回数）を、発話者２ごとに読み出す。そして、選択部１０６は、読み出した頻度の情報が所定のしきい値（例えば、１分間あたり５回）を超えているか否かを、発話者２ごとに判定する。そして、選択部１０６は、少なくとも一人の発話者２について、読み出した頻度の情報が所定のしきい値を超えていると判定した場合（ステップＳ６０１：ＹＥＳ）には、処理をステップＳ６０２に進める。
そして、選択部１０６は、所定のしきい値を超えている頻度の情報に関連付けられている発話者２（つまり、発話頻度の高い発話者２）によって発せられた音声が変換されている文字情報を、特定の文字情報として選択して、ステップＳ６０の処理を終了する（ステップＳ６０２）。
一方、選択部１０６は、それぞれの発話者２について、読み出した頻度の情報が所定のしきい値を超えていないと判定した場合（ステップＳ６０１：ＮＯ）には、処理をステップＳ６１１に進める。
【００９３】
次に、選択部１０６は、発話者２によって発せられた音声の音量が所定のしきい値を超えているか否かを判定する（ステップＳ６１１）。本実施形態の選択部１０６は、例えば、音声情報に含まれている音量の情報を収音部１０１から取得し、取得した音量の情報が所定のしきい値を超えているか否かを、収音部１０１ごとに判定する。そして、選択部１０６は、取得した音量の情報が所定のしきい値を超えていると判定した場合（ステップＳ６１１：ＹＥＳ）には、処理をステップＳ６１２に進める。
そして、選択部１０６は、所定のしきい値を超えている音声情報が変換されている文字情報を、特定の文字情報として選択して、ステップＳ６０の処理を終了する（ステップＳ６１２）。
一方、選択部１０６は、それぞれの収音部１０１から取得した音量の情報が所定のしきい値を超えていないと判定した場合（ステップＳ６１１：ＮＯ）には、処理をステップＳ６２１に進める。
【００９４】
次に、選択部１０６は、発話者２によって発せられた音声の方向が所定の方向であるか否かを判定する（ステップＳ６２１）。本実施形態の選択部１０６は、例えば、生成部１０２によって生成された音声が発せられた方向の情報を取得し、取得した方向の情報が所定の方向を示しているか否かを判定する。そして、選択部１０６は、取得した方向の情報が所定の方向を示していると判定した場合（ステップＳ６２１：ＹＥＳ）には、処理をステップＳ６２２に進める。
そして、選択部１０６は、所定の音声の方向を示している音声情報が変換されている文字情報を、特定の文字情報として選択して、ステップＳ６０の処理を終了する（ステップＳ６２２）。
一方、選択部１０６は、選択部１０６は、取得した方向の情報が所定の方向を示していないと判定した場合（ステップＳ６２１：ＮＯ）には、処理をステップＳ６３１に進める。
【００９５】
次に、選択部１０６は、発話者２によって音声が発せられた位置が所定の位置であるか否かを判定する（ステップＳ６２１）。本実施形態の選択部１０６は、例えば、音声情報を収音部１０１から取得し、取得した音声情報に含まれている音声が発せられた位置の情報に基づいて、音声が発せられた位置が所定の位置であるか否かを判定する（ステップＳ６３１）。例えば、選択部１０６は、取得した音声情報が、複数の収音部１０１のうちのいずれの収音部１０１によって取得された音声情報であるかに基づいて、発話者２によって声が発せられた位置が所定の位置であるか否かを判定する。そして、選択部１０６は、取得した音声情報に含まれている位置の情報が所定の位置を示していると判定した場合（ステップＳ６３１：ＹＥＳ）には、処理をステップＳ６３２に進める。
そして、選択部１０６は、所定の位置を示している音声情報が変換されている文字情報を、特定の文字情報として選択して、ステップＳ６０の処理を終了する（ステップＳ６３２）。
一方、選択部１０６は、取得した音声情報に含まれている位置の情報が所定の位置を示していないと判定した場合（ステップＳ６３１：ＮＯ）には、文字情報のうちから特定の文字情報を選択することなく、ステップＳ６０の処理を終了する。
このようにして、選択部１０６は、発話者の重要度に基づいて、文字情報から特定の文字情報を選択する。
【００９６】
再び、図１４を参照して、会議システム１が備える検索手段制御装置１１０１の動作について説明する。
検索手段制御装置１１０１は、上述したステップＳ６０の各ステップにおいて、特定の文字情報を選択できた場合（ステップＳ６５：ＹＥＳ）には、処理をステップＳ７０に進める。一方、検索手段制御装置１１０１は、上述したステップＳ６０の各ステップにおいて、特定の文字情報を選択できなかった場合（ステップＳ６５：ＮＯ）には、処理をステップＳ１０に戻す。
【００９７】
次に、検索手段制御装置１１０１の出力部１０７は、入力された文字情報に関連する情報を検索する検索手段１１に、選択部１０６によって選択された特定の文字情報を出力する（ステップＳ７０）。本実施形態の出力部１０７は、例えば、ネットワーク１５を介して接続されている検索手段１１に、検索文字列としての特定の文字情報を送信する。このように、検索手段制御装置１１０１は、特定の文字情報に関連する情報を、検索手段１１に検索させて検索手段１１を制御する。
【００９８】
次に、検索手段制御装置１１０１の設定部１０９は、収音部１０１から取得した音声情報に基づいて、特定の発話者２の声の特徴を示す特徴量を設定する（ステップＳ８０）。本実施形態の設定部１０９は、例えば、収音部１０１から取得した音声情報に基づいて発話者２の性別や年齢などの属性を特徴量として設定する。
【００９９】
次に、検索手段制御装置１１０１の結果選択部１０８は、特定の発話者２の声の特徴を示す特徴量に基づいて、検索手段１１が出力する検索結果を示す情報を選択する（ステップＳ９０）。本実施形態の結果選択部１０８は、例えば、ステップＳ８０において、設定部１０９によって設定された特徴量（例えば、性別や年齢）に基づいて、検索手段１１が出力する複数の検索結果のうちから、特定の情報を選択する。
【０１００】
次に、検索手段制御装置１１０１の結果出力部１１０は、ステップＳ９０において選択された特定の情報を表示部２００Ａに出力して、出力した情報の画像を表示部２００Ａに表示させて、処理を終了する（ステップＳ１００）。
このようにして、検索手段制御装置１１０１は、発話者２によって発せられた音声情報に基づいて検索手段１１を制御して、特定の情報を表示部２００Ａに表示させる。
【０１０１】
以上、説明したように本実施形態の検索手段制御装置１１０１は、変換部１０３と、選択部１０６と、出力部１０７と、結果出力部１１０とを備えている。この変換部１０３は、発話者２によって発せられた音声の音声情報を文字情報に変換する。また、選択部１０６は、発話者の重要度に基づいて、文字情報から特定の文字情報を選択する。また、出力部１０７は、入力された文字情報に関連する情報を検索する検索手段１１に、選択部１０６によって選択された特定の文字情報を出力する。また、結果出力部１１０は、検索結果を表示する表示装置に前記検索手段による検索結果を出力させる。これにより、本実施形態の検索手段制御装置１１０１は、発話者２によって発せられた音声情報を自動的に文字情報に変換して検索手段１１に検索させるとともに、発話者の重要度に基づいて、検索手段１１に検索させる文字情報を選択することができる。これにより、本実施形態の検索手段制御装置１１０１は、音声情報を自動的に文字情報に変換することができるため、例えば、発話者２によって発せられた音声情報に基づいた文字情報を、発話者２本人または周囲の人が検索手段１１に入力する作業を不要にすることができる。さらに、検索手段制御装置１１０１は、発話者２によって発せられた音声情報に基づいた文字情報のうちから、検索手段１１に検索させる文字情報を選択することができるため、例えば、重要度の高い発話内容に絞って検索手段１１に検索させることができる。
【０１０２】
例えば、本実施形態の検索手段制御装置１１０１を備える会議システム１を用いて会議を行った場合、発話者２の発話内容に応じて、発話内容に関連する情報を検索手段１１に検索させることができる。このように、検索手段制御装置１１０１は、発話者２の発話内容に関連する情報を自動的に発話者２に提供することができるため、会議の流れが滞ることを低減しつつ、会議の話題を広げたり、深めたりすることができる。さらに、検索手段制御装置１１０１は、例えば、重要度の高い発話内容に絞って検索手段１１に検索させることができるため、発話者２にとって不要な情報が発話者２に提供されることを低減することができる。つまり、本実施形態の検索手段制御装置１１０１は、会議を円滑に進行させるための情報を発話者２に提供することができる。
【０１０３】
また、本実施形態の検索手段制御装置１１０１が備える選択部１０６は、音声情報の重要度に基づいて、文字情報から特定の文字情報を選択する。ここで、発話者の重要度には、音声情報の重要度が含まれている。これにより、本実施形態の検索手段制御装置１１０１は、発話者２によって発生られた音声情報のうちから、重要度の高い発話内容に絞って検索手段１１に検索させることができる。つまり、検索手段制御装置１１０１は、発話者２にとって不要な情報が検索されることを低減することができる。
【０１０４】
また、本実施形態の検索手段制御装置１１０１が備える選択部１０６は、音声情報に含まれている音量の情報に基づいて、文字情報のうちから特定の文字情報を選択する。ここで、音声情報の重要度は、発話者２が発した音声の音量に基づいて定められている。これにより、本実施形態の検索手段制御装置１１０１は、発話者２によって発生られた音声情報のうちから、重要度の高い発話内容に絞って検索手段１１に検索させることができる。例えば、選択部１０６は、発話者２が他の発話者２に聴取されにくい音量で発話した内容は重要度が低いと判定し、発話者２が他の発話者２に聴取される程度の音量で発話した内容は重要度が高いと判定することができる。例えば、検索手段制御装置１１０１は、発話者２Ａが、隣に着席している発話者２Ｂと小声で話している内容は重要度が低いと判定して、この小声の音声情報が変換された文字情報を検索手段１１に出力しない。つまり、検索手段制御装置１１０１は、発話者２にとって不要な情報が検索されることを低減することができる。
【０１０５】
また、本実施形態の検索手段制御装置１１０１は、音声情報に基づいて、音声が発せられた方向の情報を生成する生成部１０２を備えており、選択部１０６は、生成された方向の情報に基づいて、文字情報のうちから特定の文字情報を選択する。ここで、音声情報の重要度は、音声が発せられた方向に基づいて定められている。これにより、本実施形態の検索手段制御装置１１０１は、発話者２によって発生られた音声情報のうちから、重要度の高い発話内容に絞って検索手段１１に検索させることができる。例えば、会議において説明する側の発話者２（例えば、発話者２Ａ及び発話者２Ｂ）と、説明される側の発話者２（例えば、発話者２Ｃ及び発話者２Ｄ）とがいる場合、選択部１０６は、発話者２Ａ及び発話者２Ｂによって音声が発せられた方向の音声情報を重要度が高いと判定することができる。これにより、検索手段制御装置１１０１は、例えば、説明する側の発話者２の音声情報が変換された文字情報を検索手段１１に出力することができるため、説明の進行に応じて説明資料を順次表示させることができる。つまり、検索手段制御装置１１０１は、会議を円滑に進行させるための情報を発話者２に提供することができる。
【０１０６】
また、本実施形態の検索手段制御装置１１０１は、発話者２によって発せられた音声を収音する複数の収音部１０１を備え、生成部１０２は、収音部１０１ごとに収音された音声の音量を示す情報に基づいて、音声が発せられた方向の情報を生成する。これにより、本実施形態の検索手段制御装置１１０１は、例えば、単一の収音部１０１によって収音された音声情報に基づいて音声が発せられた方向の情報を生成することを要せず、簡易に音声が発せられた方向の情報を生成することができる。
【０１０７】
また、本実施形態の検索手段制御装置１１０１の選択部１０６は、音声情報に含まれている位置の情報に基づいて、文字情報のうちから特定の文字情報を選択する。ここで、音声情報の重要度は、音声が発せられた位置に基づいて定められ、音声情報には、位置の情報が含まれている。これにより、本実施形態の検索手段制御装置１１０１は、例えば、特定の位置に着席している発話者２によって発せられた音声情報に基づいて、検索手段１１に検索させることができる。例えば、検索手段制御装置１１０１は、特定の位置としての会議の進行役（例えば、議長）の座席に着席している発話者２（例えば、発話者２Ａ）によって発せられた音声情報に基づいて、検索手段１１に検索させることができる。これにより、検索手段制御装置１１０１は、例えば、進行役の発話者２Ａの音声情報が変換された文字情報を検索手段１１に出力することができるため、会議の進行に応じて関連する資料を順次表示させることができる。つまり、検索手段制御装置１１０１は、会議を円滑に進行させるための情報を発話者２に提供することができる。
【０１０８】
また、本実施形態の検索手段制御装置１１０１は、識別部１０４を備えている。識別部１０４は、音声情報に基づいて、複数の発話者２のうちから当該音声情報の音声を発した発話者２を識別するとともに、識別した発話者２と当該音声情報を変換した文字情報とを関連付けて出力する。また、本実施形態の検索手段制御装置１１０１の選択部１０６は、発話者２の重要度に基づいて、発話者２のうちから特定の発話者２を選択するとともに、選択した特定の発話者２に関連付けられている文字情報から特定の文字情報を選択する。ここで、発話者の重要度には、発話者２の重要度が含まれている。これにより、本実施形態の検索手段制御装置１１０１は、例えば、発話者２Ａが進行役である場合に、発話者２Ａが位置（例えば、座席）を移動しても、発話者２Ａによって発せられた音声情報に基づいて、検索手段１１に検索させることができる。つまり、検索手段制御装置１１０１は、会議を円滑に進行させるための情報を発話者２に提供することができる。
【０１０９】
また、本実施形態の検索手段制御装置１１０１は、識別部１０４が識別した発話者２ごとに、頻度と発話者２とが関連付けられて記憶されている記憶部１０５を備えており、選択部１０６は、記憶部１０５に記憶されている頻度に基づいて、特定の発話者２を選択する。ここで、発話者２の重要度は、発話者２が音声を発した頻度に基づいて定められている。これにより、本実施形態の検索手段制御装置１１０１は、例えば、発言頻度の高い発話者２（例えば、発話者２Ａ）によって発せられた音声情報に基づいて、検索手段１１に検索させることができる。また、本実施形態の検索手段制御装置１１０１は、例えば、発言頻度の低い発話者２（例えば、発話者２Ｄ）によって発せられた音声情報に基づいて、検索手段１１に検索させることができる。例えば、検索手段制御装置１１０１は、発言頻度の高い発話者２Ａによって発せられた音声情報に基づいて、検索手段１１に検索させて、会議の話題を深くするための情報を発話者２に提供することができる。また、例えば、発言頻度の高い発話者２Ｄによって発せられた音声情報に基づいて検索手段１１に検索させて、会議の話題を変えたり、広くしたりするための情報を発話者２に提供することができる。つまり、検索手段制御装置１１０１は、会議を円滑に進行させるための情報を発話者２に提供することができる。
【０１１０】
また、本実施形態の検索手段制御装置１１０１は、特定の発話者２の声の特徴を示す特徴量に基づいて、検索手段１１が出力する検索結果を示す情報を選択する結果選択部１０８を備えている。これにより、本実施形態の検索手段制御装置１１０１は、例えば、発話者２の重要度としての性別や年齢などの属性によって検索結果を示す情報を選択することができる。例えば、本実施形態の検索手段制御装置１１０１は、子ども若しくは大人、又は男性若しくは女性によって発せられた音声情報に基づいて、検索結果を示す情報を選択することができる。例えば、検索手段制御装置１１０１は、発話者２としての大人と子どもとが混在している会議において、子どもの発言に注目したい場合に、発話者２としての子どもによって発せられた音声情報に基づいて、検索結果を示す情報を選択することができる。つまり、検索手段制御装置１１０１は、会議を円滑に進行させるための情報を発話者２に提供することができる。
【０１１１】
また、本実施形態の検索手段制御装置１１０１は、音声情報に基づいて、特徴量を設定する設定部１０９を備えている。これにより、本実施形態の検索手段制御装置１１０１は、例えば、発話者２の重要度としての性別や年齢などの属性を、発話者２が発話したタイミングによって（例えば、リアルタイムに）自動的に設定することができる。つまり、検索手段制御装置１１０１は、発話者２による設定を必要とせずに、発話者２の重要度を設定することができる。つまり、検索手段制御装置１１０１は、会議を円滑に進行させるために必要な作業量を低減することができる。
【０１１２】
また、本実施形態の検索手段制御装置１１０１の出力部１０７は、文字情報に、所定の語句が含まれているか否かに基づいて、文字情報を検索手段１１に出力するか否かを判定する。ここで、所定の語句とは上述したように、例えば、「そうだね」や「へー」などの感動詞や、「いつ」や「どこで」などの疑問詞などである。これにより、本実施形態の検索手段制御装置１１０１は、発話者２によって会議中に発せられる感動詞や疑問詞が音声情報に含まれている場合には、検索手段１１に出力しないように制御することができる。つまり、検索手段制御装置１１０１は、発話者２にとって不要な情報が検索されることを低減することができる。
【０１１３】
［第１１の実施形態]
以下、図面を参照して、本発明の第２の実施形態を説明する。なお、上述した第１の実施形態と同様である構成及び動作については、説明を省略する。
図１６は、本実施形態における検索結果出力装置１３０の構成を示すブロック図である。
検索結果出力装置１３０は、検索手段１１と、上述した検索手段制御装置１１０１とを備えている。
検索手段１１は、文字情報と、文字情報に関連する関連情報とが関連付けられて予め記憶されており、入力された文字情報に関連付けられている関連情報を、検索結果を示す情報として出力する。本実施形態の検索手段１１は、例えば、文字情報と、文字情報に関連する関連情報とが関連付けられて予め記憶されているデータベース１１１と、入力された文字情報に関連付けられている関連情報を、検索結果を示す情報として出力する検索部１１２とを備えている。つまり、本実施形態の検索結果出力装置１３０は、第１の実施形態において説明した検索手段１１を、検索結果出力装置１３０の内部に備えている。
【０１１４】
これにより、本実施形態の検索結果出力装置１３０は、第１の実施形態において説明したネットワーク１５を必要としないため、ネットワーク１５が設置されていない場所においても使用することができる。また、本実施形態の検索結果出力装置１３０は、ネットワーク１５による通信の遅延が生じないため、発話者２によって発話されてから検索結果を提供するまでの時間を、ネットワーク１５を介して検索する場合に比べて、短縮することができる。
【０１１５】
なお、上述した各実施形態の説明において、検索手段制御装置１１０１及び検索結果出力装置１３０は、机３の天板部分に埋め込まれた表示部２００Ａに情報を表示させているが、これに限られない。例えば、表示部２００Ａは、壁に設置されているものでもよく、図１７に示すように半球状の表示部２００が机３の上に設置されていてもよい。
図１７は、半球状に構成された表示部２００に出力する会議システム１の一例を示す構成図である。
会議システム１は、机３の上に半球状に構成された表示部２００を備えている。検索手段制御装置１１０１及び検索結果出力装置１３０は、表示部２００に検索結果を示す画像を表示させる。この場合、表示部２００に表示される画像は、特定の発話者２にのみ視認されることになる。例えば、検索手段制御装置１１０１及び検索結果出力装置１３０は、所定の方向に向かって着席している特定の発話者２（例えば、図１７における発話者２Ａ）によって発せられた音声情報に基づいて、文字情報のうちから特定の文字情報を選択することができる。これにより、例えば、検索手段制御装置１１０１及び検索結果出力装置１３０は、発話者２Ａが特定の情報（例えば、発話者２Ａ自身が作成した会議資料）を検索して表示するように要求する内容を発言した場合に、発話者２Ａにのみ視認されるようにして、特定の情報を表示させることができる。
【０１１６】
なお、上述した各実施形態において、検索手段制御装置１１０１及び検索結果出力装置１３０は、４つの収音部１０１を備えている構成を一例にして説明したが、これに限られない。検索手段制御装置１１０１及び検索結果出力装置１３０は、収音部１０１の周囲の音声が検出できればよく、例えば、机３の下部などに、単一の又は複数の収音部１０１を備えていてもよい。これにより、検索手段制御装置１１０１及び検索結果出力装置１３０は、例えば、机３の大きさに応じた位置及び数の収音部１０１を備えることができる。
【０１１７】
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
【０１１８】
なお、上記の実施形態における生成部１０２、変換部１０３、識別部１０４、選択部１０６、出力部１０７、結果選択部１０８、設定部１０９、又は結果出力部１１０（以下、これらを総称して制御部ＣＯＮＴと記載する）又はこの制御部ＣＯＮＴが備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【０１１９】
次に、第１２の実施形態から第１６の実施形態までにおいて、本発明の一実施形態である情報表示装置（検索制御装置）について説明する。以下の説明において、発話者が発した発言内容を特定する処理の詳細を説明する。
【０１２０】
以下、本発明の一実施形態による検索制御装置、及び検索装置（出力装置）について、図面を参照して説明する。
［第１２の実施形態］
図１８は、本実施形態による検索装置（情報表示装置１２００）のシステム構成の一例を示す第１の図である。
図１８において、検索装置（情報表示装置１２００）は、ネットワーク１５（例えば、インターネット）を介して検索手段１１に接続されている。また、検索装置（情報表示装置１２００）は、収音部（収音マイク）１０１に接続されている。これにより、収音部１０１から使用者（例えば、２名の使用者（Ｕ１，Ｕ２））の音声情報（例えば、会話の音声信号）が、検索装置（情報表示装置１２００）に入力される。
【０１２１】
収音部１０１は、使用者の会話の音声を収音して音声信号（音声情報）に変換する。収音部１０１は、使用者の音声を変換した音声信号（音声情報）を第１の情報として、検索装置（情報表示装置１２００）に出力する。
検索手段１１は、キーワード（検索ワード）又はキーワードに基づく検索式に基づいて、キーワードに関連する画像、音声、文章などの情報（第２の情報）を検索する。検索手段１１は、例えば、ネットワーク１５を介して、検索結果となる情報（第２の情報）を検索してもよいし、自装置内に備えるデータベースに記憶されている情報から検索結果となる情報（第２の情報）を検索してもよい。
【０１２２】
また、図１９は、本実施形態による検索装置（情報表示装置１２００）のブロック図である。
図１９において、検索装置（情報表示装置１２００）（出力装置）は、制御部１１０２（検索処理制御部）と、表示部２００とを備えている。なお、本実施形態において、制御部１１０２は、検索制御装置（表示制御装置）として機能する。
制御部１１０２は、検索装置（情報表示装置１２００）の各部を制御する。制御部１１０２は、収音部１０１から入力された音声情報（第１の情報）に基づいて、ネットワーク１５を介して検索手段１１に検索させ、検索結果として画像などの情報（第２の情報）を取得する。また、制御部１１０２は、検索手段１１から取得した検索結果を表示部２００に表示させる。
また、制御部１１０２は、音声認識部１１１１と、検索制御部１１１２と、を備えている。
【０１２３】
音声認識部１１１１（抽出部）は、収音部１０１から入力された音声情報（第１の情報）に含まれる単語を抽出する。すなわち、音声認識部１１１１は、入力された音声情報を認識して、テキスト情報（文章）に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部１１１１は、抽出した単語を検索制御部１１１２に供給する。
【０１２４】
検索制御部１１１２（制御部）は、音声認識部１１１１によって抽出された単語に基づいて、検索結果として出力される画像などの情報を検索手段１１に対して検索させる。すなわち、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に基づく検索条件に基づいて、第２の情報を検索手段１１に対して検索させる。また、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に基づくキーワード（例えば、名詞、固有名詞など）に基づいて検索式を生成し、生成した検索式に基づいて、画像などの情報を検索手段１１に対して検索させる。例えば、検索制御部１１１２は、第１の情報に含まれる単語のうちのキーワードを順次追加した検索式を、検索条件として生成し、生成した検索式に基づいて、画像などの情報を検索手段１１に対して検索させる。すなわち、検索制御部１１１２は、生成した検索式を、ネットワーク１５を介して検索手段１１に供給し、検索結果である画像などの情報を、ネットワーク１５を介して検索手段１１から取得する。なお、上述のキーワード（検索ワード）は、単語を組み合わせた文字列（例えば、形容詞＋名詞など）や文章などでもよい。
ここで、検索制御部１１１２は、以下の２つの検索モードを有している。
【０１２５】
話題提供モード（第１の検索モード）は、検索条件を広げていく（拡張していく）検索モードであり、後述する会話追跡モードよりも検索条件の広い検索モードである。話題提供モードは、例えば、会議などの使用者による会話に含まれる単語をキーワードとして、現在使用者が興味を持っている内容を検索した画像などの情報を使用者の会話における話題を提供する情報として提供する検索モードである。この話題提供モードは、会議におけるブレインストーミングなどにおいて有効な検索モードである。また、話題提供モードにおいて、検索制御部１１１２は、新たに入力された音声情報（第１の情報）に含まれるキーワードを論理和（ＯＲ：オア）により結合して、検索式に追加する。
【０１２６】
例えば、話題提供モードにおいて、検索制御部１１１２は、下記の式（１）に示すような検索式を生成する。
【０１２７】
検索式＝ＫＥＹ１  ｏｒ  ＫＥＹ２  ・・・（１）
ここで、ＫＥＹ１、及びＫＥＹ２は、キーワードを示す記号である。
【０１２８】
この式（１）の検索式の状態において、音声認識部１１１１が新たにキーワード（ＫＥＹ３）を抽出した場合、検索制御部１１１２は、キーワード（ＫＥＹ３）を追加した下記の式（２）に示す検索式を生成する。
【０１２９】
検索式＝ＫＥＹ１  ｏｒ  ＫＥＹ２  ｏｒ  ＫＥＹ３  ・・・（２）
【０１３０】
また、会話追跡モード（第２の検索モード）は、検索条件を狭めていく（縮小していく）検索モードであり、話題提供モードよりも検索条件の狭い検索モードである。会話追跡モードは、例えば、会議などの使用者による会話に含まれる単語をキーワードとして、使用者が知りたい内容を絞り込んで検索した画像などの情報を使用者に提供する検索モードである。この会話追跡モードは、会議における意見や情報をまとめる作業などにおいて有効な検索モードである。また、会話追跡モードにおいて、検索制御部１１１２は、新たに入力された音声情報（第１の情報）に含まれるキーワードを論理積（ＡＮＤ：アンド）により結合して、検索式に追加する。
【０１３１】
例えば、会話追跡モードにおいて、検索制御部１１１２は、下記の式（３）に示すような検索式を生成する。
【０１３２】
検索式＝ＫＥＹ１  ａｎｄ  ＫＥＹ２  ・・・（３）
ここで、ＫＥＹ１、及びＫＥＹ２は、キーワードを示す記号である。
【０１３３】
この式（３）の検索式の状態において、音声認識部１１１１が新たにキーワード（ＫＥＹ３）を抽出した場合、検索制御部１１１２は、キーワード（ＫＥＹ３）を追加した下記の式（４）に示す検索式を生成する。
【０１３４】
検索式＝ＫＥＹ１  ａｎｄ  ＫＥＹ２  ａｎｄ  ＫＥＹ３  ・・・（４）
【０１３５】
また、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に予め定められた規定ワード（所定の単語）が含まれている場合に、規定ワードに応じて、話題提供モードと会話追跡モードとを切り替える。検索制御部１１１２は、例えば、表示部２００に表示されている画像（画像群）などの情報に興味を持った場合に、話題提供モードから会話追跡モードに遷移させる。すなわち、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に、例えば、「何」、「これ」などの代名詞が含まれている場合に、話題提供モードから会話追跡モードに遷移させる。
また、検索制御部１１１２は、例えば、使用者が検索結果に満足した場合に、会話追跡モードから話題提供モードに遷移させる。すなわち、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に、満足したことが分かる規定ワード、例えば、「ＯＫ」、「あたり」、「それ」などの名詞又は代名詞が含まれている場合に、会話追跡モードから話題提供モードに遷移させる。
【０１３６】
なお、検索制御部１１１２は、話題提供モードにおいて、検索結果であるの画像などの情報が多くなり過ぎて、不必要な検索結果を多く取得する場合がある。そのため、本実施形態では、検索制御部１１１２は、話題提供モードにおいて、検索結果の数が予め定められた第１の規定数以上になった場合に、キーワードを検索式から除外して、検索手段１１に対して再検索をさせる。この場合、検索制御部１１１２は、例えば、音声認識部１１１１によって抽出された古い順（入力された古い順）に検索式からキーワードを除外する。ここで、上記のキーワードを検索式から除外するとは、検索式に含まれているキーワードから一部のキーワードを削除（除外）することである。
【０１３７】
また、検索制御部１１１２は、会話追跡モードにおいて、必要な検索結果を得られない場合がある。そのため、本実施形態では、検索制御部１１１２は、会話追跡モードにおいて、検索結果の数が予め定められた第２の規定数以下になった場合に、キーワードを検索式から除外して、検索手段１１に対して再検索をさせる。この場合、検索制御部１１１２は、例えば、音声認識部１１１１によって抽出された古い順（入力された古い順）に検索式からキーワードを除外する。
【０１３８】
このように、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に基づいて、話題提供モードと会話追跡モードとを選択的に切り替えて検索式を生成する。検索制御部１１１２は、生成した検索式を検索手段１１に供給し、検索結果である画像などの情報を、ネットワーク１５を介して検索手段１１から取得する。検索制御部１１１２は、検索手段１１から取得した検索結果を表示部２００に供給し、表示部２００に表示させる。
【０１３９】
表示部２００は、例えば、液晶ディスプレイなどの表示装置である。表示部２００は、検索制御部１１１２から供給された画像などの情報（第２の情報）を表示する。
【０１４０】
次に、本実施形態における検索装置（情報表示装置１２００）の動作について説明する。
図２０は、本実施形態における話題提供モードの処理の一例を示すフローチャートである。
この図において、まず、制御部１１０２は、収音部１０１から音声入力があったか否かを判定する（ステップＳ１０１）。すなわち、制御部１１０２は、収音部１０１から音声認識部１１１１に音声情報が入力されたか否かを判定する。制御部１１０２は、音声情報が入力されたと判定した場合（ステップＳ１０１：ＹＥＳ）に、処理をステップＳ１０２に進める。制御部１１０２は、音声情報が入力されていないと判定した場合（ステップＳ１０１：ＮＯ）に、処理をステップＳ１０１に戻し、音声情報が入力されるまでステップＳ１０１の処理を繰り返す。
【０１４１】
次に、制御部１１０２は、音声認識及び形態素解析を行う（ステップＳ１０２）。すなわち、制御部１１０２の音声認識部１１１１は、入力された音声情報を認識して、テキスト情報（文章）に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部１１１１は、抽出した単語を検索制御部１１１２に供給する。
【０１４２】
次に、制御部１１０２は、検索ワード（キーワード）追加及び検索処理を実行する（ステップＳ１０３）。すなわち、制御部１１０２の検索制御部１１１２は、新たに入力された音声情報（第１の情報）に含まれるキーワードを論理和（ＯＲ）により結合して、検索式に追加する。検索制御部１１１２は、生成した検索式を検索手段１１にネットワーク１５を介して供給し、検索結果である画像などの情報を、ネットワーク１５を介して検索手段１１から取得する。
【０１４３】
次に、制御部１１０２は、検索結果を表示部２００に表示させる（ステップＳ１０４）。すなわち、制御部１１０２の検索制御部１１１２は、検索結果として取得した画像などの情報を表示部２００に供給して表示させる。これにより、表示部２００は、検索制御部１１１２から供給された検索結果である画像などの情報を表示する。
【０１４４】
次に、制御部１１０２は、入力された音声情報に規定ワードが含まれていたか否かを判定する（ステップＳ１０５）。すなわち、制御部１１０２の検索制御部１１１２は、音声認識部１１１１によって抽出された単語の中に、規定ワード（所定の単語）が含まれているか否かを判定する。ここで、規定ワードは、上述したように、例えば、「何」、「これ」などの代名詞である。検索制御部１１１２は、規定ワード（所定の単語）が含まれていると判定した場合（ステップＳ１０５：ＹＥＳ）に、処理を話題提供モードから会話追跡モード（図２１のステップＳ１１１）に遷移させる。また、検索制御部１１１２は、規定ワード（所定の単語）が含まれていると判定した場合（ステップＳ１０５：ＮＯ）に、処理をステップＳ１０６に進める。
【０１４５】
次に、ステップＳ１０６において、制御部１１０２は、検索結果が規定数（第１の規定数）以上であるか否かを判定する。すなわち、制御部１１０２の検索制御部１１１２は、検索手段１１から取得した検索結果（第２の情報）の数が規定数（第１の規定数）以上であるか否かを判定する。検索制御部１１１２は、検索結果の数が規定数（第１の規定数）以上であると判定した場合（ステップＳ１０６：ＹＥＳ）に、処理をステップＳ１０７に進める。また、検索制御部１１１２は、検索結果の数が規定数（第１の規定数）未満であると判定した場合（ステップＳ１０６：ＮＯ）に、処理をステップＳ１０１に戻す。
【０１４６】
次に、ステップＳ１０７において、制御部１１０２は、古い文章（音声情報）に含まれている単語を削除して、処理をステップＳ１０１に戻す。すなわち、制御部１１０２の検索制御部１１１２は、音声認識部１１１１によって抽出された古い順（入力された古い順）に検索式からキーワードを除外して、処理をステップＳ１０１に戻す。
【０１４７】
このように、本実施形態における話題提供モードでは、制御部１１０２は、新たに入力された音声情報（第１の情報）に含まれるキーワードを論理和（ＯＲ）により結合して、検索式に追加して、検索手段１１に検索結果である画像などの情報を検索させる。そして、制御部１１０２は、検索結果を表示部２００に表示させるとともに、検索結果の数が予め定められた第１の規定数以上になった場合に、キーワードを検索式から除外して、検索手段１１に対して再検索をさせる。
【０１４８】
また、図２１は、本実施形態における会話追跡モードの処理の一例を示すフローチャートである。
この図において、まず、制御部１１０２は、収音部１０１から音声入力があったか否かを判定する（ステップＳ１１１）。すなわち、制御部１１０２は、収音部１０１から音声認識部１１１１に音声情報が入力されたか否かを判定する。制御部１１０２は、音声情報が入力されたと判定した場合（ステップＳ１１１：ＹＥＳ）に、処理をステップＳ１１２に進める。制御部１１０２は、音声情報が入力されていないと判定した場合（ステップＳ１１１：ＮＯ）に、処理をステップＳ１１１に戻し、音声情報が入力されるまでステップＳ１１１の処理を繰り返す。
【０１４９】
次に、制御部１１０２は、音声認識及び形態素解析を行う（ステップＳ１１２）。すなわち、制御部１１０２の音声認識部１１１１は、入力された音声情報を認識して、テキスト情報（文章）に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部１１１１は、抽出した単語を検索制御部１１１２に供給する。
【０１５０】
次に、制御部１１０２は、検索ワード（キーワード）追加及び検索処理を実行する（ステップＳ１１３）。すなわち、制御部１１０２の検索制御部１１１２は、新たに入力された音声情報（第１の情報）に含まれるキーワードを論理積（ＡＮＤ）により結合して、検索式に追加する。検索制御部１１１２は、生成した検索式を検索手段１１にネットワーク１５を介して供給し、検索結果である画像などの情報を、ネットワーク１５を介して検索手段１１から取得する。
【０１５１】
次に、制御部１１０２は、検索結果を表示部２００に表示させる（ステップＳ１１４）。すなわち、制御部１１０２の検索制御部１１１２は、検索結果として取得した画像などの情報を表示部２００に供給して表示させる。これにより、表示部２００は、検索制御部１１１２から供給された検索結果である画像などの情報を表示する。
【０１５２】
次に、制御部１１０２は、入力された音声情報に規定ワードが含まれていたか否かを判定する（ステップＳ１１５）。すなわち、制御部１１０２の検索制御部１１１２は、音声認識部１１１１によって抽出された単語の中に、規定ワード（所定の単語）が含まれているか否かを判定する。ここで、規定ワードは、上述したように、例えば、「ＯＫ」、「あたり」、「それ」などの名詞又は代名詞である。検索制御部１１１２は、規定ワード（所定の単語）が含まれていると判定した場合（ステップＳ１１５：ＹＥＳ）に、処理を会話追跡モードから話題提供モード（図２０のステップＳ１０１）に遷移させる。また、検索制御部１１１２は、規定ワード（所定の単語）が含まれていると判定した場合（ステップＳ１１５：ＮＯ）に、処理をステップＳ１１６に進める。
【０１５３】
次に、ステップＳ１１６において、制御部１１０２は、検索結果が規定数（第２の規定数）以下であるか否かを判定する。すなわち、制御部１１０２の検索制御部１１１２は、検索手段１１から取得した検索結果の数が規定数（第２の規定数）以下であるか否かを判定する。検索制御部１１１２は、検索結果の数が規定数（第１の規定数）以下であると判定した場合（ステップＳ１１６：ＹＥＳ）に、処理をステップＳ１１７に進める。また、検索制御部１１１２は、検索結果の数が規定数（第２の規定数）を超えると判定した場合（ステップＳ１１６：ＮＯ）に、処理をステップＳ１１１に戻す。なお、本実施形態において、上述した第１の規定数と第２の規定数とは、（第１の規定数＞第２の規定数）の関係にあり、第１の規定数と第２の規定数とは、検索結果が適切な数を維持するように、予め定められている。
【０１５４】
次に、ステップＳ１１７において、制御部１１０２は、古い文章（音声情報）に含まれている単語を削除して、処理をステップＳ１１１に戻す。すなわち、制御部１１０２の検索制御部１１１２は、音声認識部１１１１によって抽出された古い順（入力された古い順）に検索式からキーワードを除外して、処理をステップＳ１１１に戻す。
【０１５５】
このように、本実施形態における会話追跡モードでは、制御部１１０２は、新たに入力された音声情報（第１の情報）に含まれるキーワードを論理積（ＡＮＤ）により結合して、検索式に追加して、検索手段１１に検索結果である画像などの情報を検索させる。そして、制御部１１０２は、検索結果を表示部２００に表示させるとともに、検索結果の数が予め定められた第２の規定数以下になった場合に、キーワードを検索式から除外して、検索手段１１に対して再検索をさせる。
【０１５６】
以上、説明したように、本実施形態における制御部１１０２（検索制御装置）は、音声認識部１１１１と、検索制御部１１１２と、を備えている。音声認識部１１１１は、入力された音声情報（第１の情報）に含まれる単語を抽出する。検索制御部１１１２は、音声認識部１１１１によって抽出された単語に基づく検索条件に基づいて、検索結果として出力される画像などの情報を検索手段１１に対して検索させる。そして、検索制御部１１１２は、検索条件を広めていく話題提供モードと、検索条件を狭めていく会話追跡モードとを有する。
【０１５７】
これにより、本実施形態における検索装置（情報表示装置１２００）は、話題提供モードにおいて、例えば、使用者の会話から現在、使用者が興味を持っている内容を検索した検索結果を表示部２００に表示する。そして、本実施形態における検索装置（情報表示装置１２００）は、会話追跡モードにおいて、そこから使用者が知りたい内容を絞り込むように、検索した検索結果を表示部２００に表示する。そのため、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、使用者に幅広い情報を提供しつつ、知りたい内容に絞り込んだ情報を提供することができる。例えば、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、使用者が意図して選定した固定の検索条件ではなく、使用者の自然な会話の中から抽出した検索条件により、多種多様な幅広い話題を提供しつつ、使用者が興味を持った話題を掘り下げた情報を提供することができる。よって、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、使用者に有益な情報を適切に提供することができる。
【０１５８】
また、本実施形態では、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に予め定められた所定の単語（規定ワード）が含まれている場合に、所定の単語に応じて、話題提供モードと会話追跡モードとを切り替える。
これにより、話題提供モードと会話追跡モードとの２つの検索モードを適切に切り替えることができるので、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、使用者に有益な情報を適切に提供することができる。
【０１５９】
また、本実施形態では、検索制御部１１１２は、音声認識部１１１１によって抽出された単語のうちのキーワード（検索ワード）を順次追加した検索式を、検索条件として生成し、生成した検索式に基づいて、画像などの情報を検索手段１１に対して検索させる。
これにより、音声情報が順次入力されることによって、検索条件を広めていくこと、及び検索条件を狭めていくことが可能になる。そのため、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、話題提供モード及び会話追跡モードの検索を検索手段１１に対して適切にさせることができる。
【０１６０】
また、本実施形態では、検索制御部１１１２は、話題提供モードにおいて、キーワードを論理和（ＯＲ）により結合して検索式に追加し、会話追跡モードにおいて、キーワードを論理積（ＡＮＤ）により結合して検索式に追加する。
これにより、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、簡易な手段により適切に、２つの検索モードによる検索式を生成することができる。
【０１６１】
また、本実施形態では、検索制御部１１１２は、キーワードを音声認識部１１１１によって抽出された古い順に検索式から除外する。
これにより、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、古いキーワードを検索式から削除するので、適切な検索条件により、検索手段１１に対して検索させることができる。
【０１６２】
また、本実施形態では、検索制御部１１１２は、話題提供モードにおいて、検索結果の数が予め定められた第１の規定数以上になった場合に、キーワードを検索式から除外する。
これにより、検索結果の数が低減される。そのため、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、検索結果であるの画像などの情報が多くなり過ぎて、不必要な検索結果を使用者に提供する状態になることを低減することができる。
【０１６３】
また、本実施形態では、検索制御部１１１２は、会話追跡モードにおいて、検索結果の数が予め定められた第２の規定数以下になった場合に、キーワードを検索式から除外する。
これにより、検索結果の数が増加される。そのため、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、絞込み過ぎて必要な検索結果を使用者に提供できない状態になることを低減することができる。
【０１６４】
また、本実施形態では、音声認識部１１１１は、入力された音声情報を認識してテキスト情報に変換するとともに、テキスト情報に含まれる単語を抽出する。
これにより、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、収音部１０１から入力された音声情報から単語を抽出し、抽出した単語に基づく検索条件により画像などの情報（第２の情報）を検索することができる。そのため、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、使用者が意識していない自然な会話の中から、適切な情報（第２の情報）を検索して提供することができる。
【０１６５】
また、本実施形態における検索装置（情報表示装置１２００）（出力装置）は、制御部１１０２と、制御部１１０２によって検索された画像などの情報を出力する表示部２００とを備える。
これにより、本実施形態における検索装置（情報表示装置１２００）は、検索した画像などの情報を使用者に適切に提供することができる。
【０１６６】
なお、上述した本実施形態では、検索制御部１１１２が、規定ワード（所定の単語）が含まれているか否かによって話題提供モードと会話追跡モードとを切り替える一例を説明したが、他の条件によってこの２つのモードを切り替えることも可能である。
次に、この２つのモードを切り替える変形例について説明する。
【０１６７】
＜第１の変形例＞
第１の変形例では、検索制御部１１１２は、予め定められた所定の時間に応じて、話題提供モードと会話追跡モードとを切り替える。ここで、所定の時間とは、例えば、会議の予定期間の３分の２（２／３）の時間、終了予定時間の１０分前の時間、会議開始からの所定の経過時間などである。
【０１６８】
図２２は、本実施形態における話題提供モードの第１の変形例を示すフローチャートである。
この図における話題提供モードの処理は、ステップＳ１０５ａの処理が異なる点を除いて図２０に示される話題提供モードの処理と同様である。ここでは、ステップＳ１０５ａの処理について説明する。
【０１６９】
ステップＳ１０５ａにおいて、制御部１１０２の検索制御部１１１２は、所定の時間が経過したか否かを判定する。ここで、所定の時間は、上述したように、例えば、会議の予定期間の３分の２（２／３）の時間である。検索制御部１１１２は、所定の時間が経過したと判定した場合（ステップＳ１０５ａ：ＹＥＳ）に、処理を話題提供モードから会話追跡モードに遷移させる。また、検索制御部１１１２は、所定の時間が経過していないと判定した場合（ステップＳ１０５ａ：ＮＯ）に、処理をステップＳ１０６に進める。
なお、図示を省略するが、会話追跡モードにおいても図２２と同様に、所定の時間に応じて、会話追跡モードから話題提供モードに切り替えてもよい。
【０１７０】
このように、検索制御部１１１２は、予め定められた所定の時間に応じて、話題提供モードと会話追跡モードとを切り替える。
これにより、話題提供モードと会話追跡モードとの２つの検索モードを適切に切り替えることができるので、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、使用者に有益な情報を適切に提供することができる。例えば、会議において、所定の時間に応じて、話題提供モードと会話追跡モードとを切り替えるので、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、会議の進行に合せて有益な情報を提供することができる。
【０１７１】
＜第２の変形例＞
第２の変形例では、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に検索式に含まれるキーワードが含まれている場合に、話題提供モードと会話追跡モードとを切り替える。すなわち、検索制御部１１１２は、音声情報（例えば、会話における音声情報）の中に、同じキーワード（検索ワード）が出てきた場合に、話題提供モードと会話追跡モードとを切り替える。
【０１７２】
図２３は、本実施形態における話題提供モードの第１の変形例を示すフローチャートである。
この図における話題提供モードの処理は、ステップＳ１０５ｂの処理が異なる点を除いて図２０に示される話題提供モードの処理と同様である。ここでは、ステップＳ１０５ｂの処理について説明する。
【０１７３】
ステップＳ１０５ｂにおいて、制御部１１０２は、入力された音声情報に同一の検索ワード（キーワード）が含まれているか否かを判定する。すなわち、制御部１１０２の検索制御部１１１２は、音声認識部１１１１によって抽出された単語の中に、検索式に含まれるキーワードが含まれているか否かを判定する。検索制御部１１１２は、抽出された単語の中に、検索式に含まれるキーワードが含まれていると判定した場合（ステップＳ１０５ｂ：ＹＥＳ）に、処理を話題提供モードから会話追跡モードに遷移させる。また、検索制御部１１１２は、抽出された単語の中に、検索式に含まれるキーワードが含まれていないと判定した場合（ステップＳ１０５ｂ：ＮＯ）に、処理をステップＳ１０６に進める。
【０１７４】
このように、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に検索式に含まれるキーワードが含まれている場合に、話題提供モードと会話追跡モードとを切り替える。
これにより、話題提供モードと会話追跡モードとの２つの検索モードを適切に切り替えることができるので、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、使用者に有益な情報を適切に提供することができる。
【０１７５】
＜第３の変形例＞
第３の変形例では、検索制御部１１１２は、特定の話者が話している場合に、話題提供モードと会話追跡モードとを切り替える。
例えば、音声認識部１１１１は、収音部１０１から入力された音声情報に基づいて、話者を識別し、話者を示す情報と抽出した単語とを関連付けて、検索制御部１１１２に供給する。なお、音声認識部１１１１は、話者の識別を声紋などの音声情報における特徴量に基づいて行ってもよいし、複数の収音部１０１から入力される音声情報により、音声の方向から識別してもよい。
検索制御部１１１２は、例えば、話者が会議における議長のように会議をまとめる立場の人であった場合に、会議がまとめに移行したと判定し、話題提供モードから会話追跡モードに切り替える。また、検索制御部１１１２は、例えば、話者が参考意見を述べる立場の人や、様々な意見を出す立場にある人である場合に、会話追跡モードからに話題提供モード切り替える。
【０１７６】
このように、検索制御部１１１２は、特定の話者が話している場合に、話題提供モードと会話追跡モードとを切り替える。
これにより、話題提供モードと会話追跡モードとの２つの検索モードを適切に切り替えることができるので、本実施形態における制御部１１０２及び検索装置（情報表示装置１２００）は、使用者に有益な情報を適切に提供することができる。
【０１７７】
なお、本実施形態において、話題提供モードと会話追跡モードとを切り替える際に、検索制御部１１１２は、例えば、検索式を一旦削除して、直近のキーワード、又は直近の所定の数のキーワードによって、検索式を新たに生成してもよい。例えば、話題提供モードから会話追跡モードに切り替った場合には、検索制御部１１１２は、直近の所定の数のキーワードを論理積（ＡＮＤ）により結合して、検索式を生成してもよい。また、例えば、会話追跡モードから話題提供モードに切り替った場合には、検索制御部１１１２は、直近の所定の数のキーワードを論理和（ＯＲ）により結合して、検索式を生成してもよい。
【０１７８】
また、検索制御部１１１２は、話題提供モードと会話追跡モードとを切り替える際に、直近の直近の所定の数のキーワードのみの演算子を変更してもよい。例えば、話題提供モードから会話追跡モードに切り替った場合には、検索制御部１１１２は、直近の所定の数のキーワードを論理積（ＡＮＤ）により結合して、残りを論理和（ＯＲ）のままで検索式を生成してもよい。また、例えば、会話追跡モードから話題提供モードに切り替った場合には、検索制御部１１１２は、直近の所定の数のキーワードを論理和（ＯＲ）により結合して、残りを論理積（ＡＮＤ）のままで検索式を生成してもよい。
また、検索制御部１１１２は、話題提供モードと会話追跡モードとを切り替える際に、検索式はそのまま維持し、新たに追加するキーワードから演算子を変更して検索式を生成してもよい。
【０１７９】
次に、第２の実施形態による検索制御装置、及び検索装置（出力装置）について、図面を参照して説明する。
［第１３の実施形態］
第１３の実施形態における検索装置（情報表示装置１２００）のシステム構成は、図１８に示される第１２の実施形態における検索装置（情報表示装置１２００）のシステム構成と同様である。
図２４は、第１３の実施形態による検索装置（情報表示装置１２００）のブロック図である。
図２４において、検索装置（情報表示装置１２００）（出力装置）は、制御部１１０２ａと、表示部２００とを備えている。なお、本実施形態において、制御部１１０２ａは、検索制御装置として機能する。
この図において、図１９と同一の構成については同一の符号を付し、その説明を省略する。
【０１８０】
制御部１１０２ａは、検索装置（情報表示装置１２００）の各部を制御する。制御部１１０２ａは、収音部１０１から入力された音声情報（第１の情報）に基づいて、ネットワーク１５を介して検索手段１１に検索させ、検索結果として画像などの情報を取得する。また、制御部１１０２ａは、検索手段１１から取得した画像などの情報を表示部２００に表示させる。なお、本実施形態では、制御部１１０２ａは、入力された音声情報（文章）が否定文であった場合に、使用者がその文章に含まれる単語を望んでいないと判定し、先のキーワードからその否定文に含まれる単語を除いて再検索する。
また、制御部１１０２ａは、音声認識部１１１１と、検索制御部１１１２と、否定文検出部１１１３とを備えている。
【０１８１】
否定文検出部１１１３（検出部）は、収音部１０１から入力された音声情報に含まれる否定文を検出する。ここで、否定文とは、否定を示す単語を含む文章である。また、否定を示す単語とは、「でない」、「じゃない」、「ちがう」、「だめ」などである。例えば、否定文検出部１１１３は、音声認識部１１１１が音声情報を認識したテキスト情報、及び音声認識部１１１１によって抽出された単語を、音声認識部１１１１から取得する。否定文検出部１１１３は、音声認識部１１１１から取得したテキスト情報、及び単語に基づいて否定文を検出する。否定文検出部１１１３は、例えば、テキスト情報に基づいて文章を抽出し、抽出した文章の中に否定を示す単語が含まれているか否かに基づいて否定文を検出する。否定文検出部１１１３は、検出した否定文及び否定文に含まれる単語を検索制御部１１１２に供給する。
【０１８２】
検索制御部１１１２は、否定文検出部１１１３によって否定文が検出された場合に、否定文に含まれるキーワードを検索式から除外する。例えば、検索制御部１１１２は、否定文検出部１１１３から供給された否定文があるか否かを判定する。さらに、検索制御部１１１２は、否定文があると判定した場合に、否定文検出部１１１３から供給された単語が検索式の中にあるか否かを判定する。そして、検索制御部１１１２は、検索式の中にあると判定された単語を検索式から削除する。また、検索制御部１１１２は、否定文があると判定した場合に、新たに入力された音声情報（第１の情報）に含まれるキーワードを２つの検索モードに応じて、論理和（ＯＲ）又は論理積（ＡＮＤ）により結合して検索式に追加する。
検索制御部１１１２において、その他の処理は、第１２の実施形態と同様であるので、ここでは説明を省略する。
【０１８３】
次に、本実施形態における検索装置（情報表示装置１２００）の動作について説明する。
図２５は、本実施形態における話題提供モードの処理の一例を示すフローチャートである。
この図において、本実施形態では、制御部１１０２ａが、否定文による判定処理を行う点が、図２０に示される第１２の実施形態における話題提供モードの処理と異なる。
この図において、まず、制御部１１０２ａは、収音部１０１から音声入力があったか否かを判定する（ステップＳ２０１）。すなわち、制御部１１０２ａは、収音部１０１から音声認識部１１１１に音声情報が入力されたか否かを判定する。制御部１１０２ａは、音声情報が入力されたと判定した場合（ステップＳ２０１：ＹＥＳ）に、処理をステップＳ２０２に進める。制御部１１０２ａは、音声情報が入力されていないと判定した場合（ステップＳ２０１：ＮＯ）に、処理をステップＳ２０１に戻し、音声情報が入力されるまでステップＳ２０１の処理を繰り返す。
【０１８４】
次に、制御部１１０２ａは、音声認識及び形態素解析を行う（ステップＳ２０２）。すなわち、制御部１１０２ａの音声認識部１１１１は、入力された音声情報を認識して、テキスト情報（文章）に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部１１１１は、抽出した単語を検索制御部１１１２に供給する。また、音声認識部１１１１は、変換したテキスト情報（文章）と抽出した単語とを否定文検出部１１１３に供給する。
【０１８５】
次に、制御部１１０２ａは、否定文があるか否かを判定する（ステップＳ２０３）。まず、制御部１１０２ａの否定文検出部１１１３は、音声認識部１１１１から取得したテキスト情報、及び単語に基づいて否定文を検出する。否定文検出部１１１３は、検出した否定文及び否定文に含まれる単語を検索制御部１１１２に供給する。検索制御部１１１２は、否定文検出部１１１３から供給された否定文があるか否かを判定する。検索制御部１１１２は、否定文があると判定した場合（ステップＳ２０３：ＹＥＳ）に、処理をステップＳ２０４に進める。また、検索制御部１１１２は、否定文がないと判定した場合（ステップＳ２０３：ＮＯ）に、処理をステップＳ２０５に進める。
【０１８６】
次に、ステップＳ２０４において、制御部１１０２ａは、検索ワード（キーワード）削除及び検索処理を実行する。すなわち、制御部１１０２ａの検索制御部１１１２は、検索式の中にあると判定された単語を検索式から削除する。検索制御部１１１２は、生成した検索式を検索手段１１にネットワーク１５を介して供給し、検索結果である画像などの情報を、ネットワーク１５を介して検索手段１１から取得する。
【０１８７】
また、ステップＳ２０５において、制御部１１０２ａは、検索ワード（キーワード）追加及び検索処理を実行する。すなわち、制御部１１０２ａの検索制御部１１１２は、新たに入力された音声情報（第１の情報）に含まれるキーワードを論理和（ＯＲ）により結合して、検索式に追加する。検索制御部１１１２は、生成した検索式を検索手段１１にネットワーク１５を介して供給し、検索結果である画像などの情報を、ネットワーク１５を介して検索手段１１から取得する。
【０１８８】
次のステップＳ２０６からステップＳ２０９までの処理は、図２０に示されるステップＳ１０４からステップＳ１０７までの処理と同様であり、ここでは説明を省略する。
また、図示を省略するが、会話追跡モードの処理においても、図２５のステップＳ２０３及びステップＳ２０４と同様に、制御部１１０２ａは、否定文による判定処理を実行する。
【０１８９】
以上、説明したように、本実施形態における制御部１１０２ａは、否定を示す単語を含む文章である否定文であって、音声情報（第１の情報）に含まれる否定文を検出する否定文検出部１１１３を備えている。検索制御部１１１２は、否定文検出部１１１３によって否定文が検出された場合に、否定文に含まれるキーワードを検索式から除外する。
これにより、本実施形態における制御部１１０２ａ及び検索装置（情報表示装置１２００）は、検索式からキーワード（検索ワード）を取り除くことができる。例えば、本実施形態における制御部１１０２ａ及び検索装置（情報表示装置１２００）は、音声認識部１１１１による認識間違いが起こった場合などに、先の検索式から間違ったキーワード（検索ワード）を取り除くことができる。よって、本実施形態における制御部１１０２ａ及び検索装置（情報表示装置１２００）は、使用者にとって適切な検索を行うことがきるので、使用者に有益な情報を適切に提供することができる。
【０１９０】
次に、第１４の実施形態による検索制御装置、及び検索装置（出力装置）について、図面を参照して説明する。
［第１４の実施形態］
図２６は、本実施形態による検索装置（情報表示装置１２００）の構成の一例を示す第２の図である。
図２６において、検索装置（情報表示装置１２００）は、ネットワーク１５（例えば、インターネット）を介して検索手段１１及び類語検索手段１２に接続されている。また、検索装置（情報表示装置１２００）は、収音部１０１に接続されている。これにより、収音部１０１から使用者（例えば、２名の使用者（Ｕ１，Ｕ２））の音声情報（例えば、会話の音声信号）が、検索装置（情報表示装置１２００）に入力される。
この図において、図１９と同一の構成については同一の符号を付し、その説明を省略する。なお、本実施形態では、類語検索手段１２に接続されている点が上記の第１２及び第１３の実施形態と異なる。
【０１９１】
類語検索手段１２は、ネットワーク１５を介して入力された単語に基づいて、入力された単語に関連する関連単語である類語を検索し、検索した類語を、ネットワーク１５を介して出力する。類語とは、例えば、「りんご」という単語に対して、「アップル」、「Apple」などである。類語検索手段１２は、例えば、ネットワーク１５を介して、類語を検索してもよいし、自装置内に備えるデータベース（例えば、類語辞書）に記憶されている情報から類語を検索してもよい。
【０１９２】
図２７は、第１４の実施形態による検索装置（情報表示装置１２００）のブロック図である。
図２７において、検索装置（情報表示装置１２００）（出力装置）は、制御部１１０２ｂと、表示部２００とを備えている。なお、本実施形態において、制御部１１０２ｂは、検索制御装置として機能する。
この図において、図２４と同一の構成については同一の符号を付し、その説明を省略する。
【０１９３】
制御部１１０２ｂは、検索装置（情報表示装置１２００）の各部を制御する。制御部１１０２ｂは、収音部１０１から入力された音声情報（第１の情報）に基づいて、ネットワーク１５を介して検索手段１１に検索させ、検索結果として画像などの情報を取得する。また、制御部１１０２ｂは、検索手段１１から取得した画像などの情報を表示部２００に表示させる。また、本実施形態では、制御部１１０２ｂは、音声情報（第１の情報）に含まれる単語に関連する類語を類語検索手段１２から取得し、取得した類語に基づいて、検索結果として画像などの情報を取得する。
また、制御部１１０２ｂは、音声認識部１１１１と、検索制御部１１１２と、否定文検出部１１１３と、類語取得部１１１４と、を備えている。
【０１９４】
類語取得部１１１４（取得部）は、音声認識部１１１１によって抽出された単語に基づいて、単語に関連する類語（関連単語）を取得する。すなわち、類語取得部１１１４は、検索制御部１１１２から供給された単語を、ネットワーク１５を介して類語検索手段１２に供給して、類語検索手段１２に類語を検索させる。そして、類語取得部１１１４は、類語検索手段１２からネットワーク１５を介して供給された類語を検索制御部１１１２に供給する。
【０１９５】
検索制御部１１１２は、音声認識部１１１１によって抽出された単語に基づいて、類語取得部１１１４から類語を取得し、取得した類語と音声認識部１１１１によって抽出された単語とに基づく検索条件に基づいて、画像などの情報を検索手段１１に対して検索させる。例えば、検索制御部１１１２は、まず、音声認識部１１１１によって抽出された単語に基づく検索条件により、画像などの情報を検索手段１１に対して検索させる。そして、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に基づく検索結果の数が予め定められた第３の規定数以下になった場合に、類語と音声認識部１１１１によって抽出された単語とに基づく検索条件に基づいて、画像などの情報を検索手段１１に対して検索させる。
検索制御部１１１２において、その他の処理は、第１３の実施形態と同様であるので、ここでは説明を省略する。
【０１９６】
次に、本実施形態における検索装置（情報表示装置１２００）の動作について説明する。
図２８は、本実施形態における話題提供モードの処理の一例を示すフローチャートである。
この図において、本実施形態では、制御部１１０２ｂが、類語に基づく検索処理を行う点が、図２５に示される第２の実施形態における話題提供モードの処理と異なる。
【０１９７】
この図において、ステップＳ２０１からステップＳ２０７の処理は、図２５に示される第１３の実施形態と同様である。ここでは、ステップＳ２０８ａ以降の処理について説明する。
ステップＳ２０８ａにおいて、制御部１１０２ｂは、検索結果が規定数（第１の規定数）以上であるか否かを判定する。すなわち、制御部１１０２ｂの検索制御部１１１２は、検索手段１１から取得した検索結果の数が規定数（第１の規定数）以上であるか否かを判定する。検索制御部１１１２は、検索結果の数が規定数（第１の規定数）以上であると判定した場合（ステップＳ２０８ａ：ＹＥＳ）に、処理をステップＳ２０９に進める。また、検索制御部１１１２は、検索結果の数が規定数（第１の規定数）未満であると判定した場合（ステップＳ２０８ａ：ＮＯ）に、処理をステップＳ２１０に進める。
【０１９８】
ステップＳ２０９の処理は、図２５に示される第１３の実施形態と同様であるので、ここでは説明を省略する。
【０１９９】
ステップＳ２１０において、制御部１１０２ｂは、検索結果が規定数（第３の規定数）以下であるか否かを判定する。すなわち、制御部１１０２ｂの検索制御部１１１２は、検索手段１１から取得した検索結果の数が規定数（第３の規定数）以下であるか否かを判定する。検索制御部１１１２は、検索結果の数が規定数（第３の規定数）以上であると判定した場合（ステップＳ２１０：ＹＥＳ）に、処理をステップＳ２１１に進める。また、検索制御部１１１２は、検索結果の数が規定数（第３の規定数）を超えると判定した場合（ステップＳ２１０：ＮＯ）に、処理をステップＳ２０１に戻す。
【０２００】
次に、ステップＳ２１１において、制御部１１０２ｂは、類語の検索、及び類語をキーワードとして追加する。すなわち、検索制御部１１１２は、音声認識部１１１１によって抽出されたキーワード（検索ワード）に基づいて、類語取得部１１１４から類語を取得する。検索制御部１１１２は、取得した類語を検索式に追加して新たな検索式を生成し、処理をステップＳ２０１に戻す。結果として、検索制御部１１１２は、新たに生成した検索式に基づいて、画像などの情報を検索手段１１に対して検索させる。
なお、ステップＳ２１１において、取得した類語を検索式に追加する場合、検索制御部１１１２は、例えば、キーワードと対応する類語とを論理和（ＯＲ）により結合して検索式に追加する。
【０２０１】
また、図示を省略するが、会話追跡モードの処理においても、図２８のステップＳ２１０及びステップＳ２１１と同様に、制御部１１０２ｂは、類語を検索式に追加する処理を実行する。なお、会話追跡モードの処理においても、取得した類語を検索式に追加する場合、検索制御部１１１２は、例えば、キーワードと対応する類語とを論理和（ＯＲ）により結合して検索式に追加する。
【０２０２】
以上、説明したように、本実施形態における制御部１１０２ｂは、音声認識部１１１１によって抽出された単語に基づいて、単語に関連する類語（関連単語）を取得する類語取得部１１１４を備えている。検索制御部１１１２は、音声認識部１１１１によって抽出された単語に基づいて、類語取得部１１１４から類語を取得し、取得した類語と、音声認識部１１１１によって抽出された単語とに基づく検索条件に基づいて、画像などの情報を検索手段１１に対して検索させる。
これにより、類語を含めた検索条件により、画像などの情報を検索できるので、本実施形態における制御部１１０２ｂ及び検索装置（情報表示装置１２００）は、柔軟な検索が可能になる。よって、本実施形態における制御部１１０２ｂ及び検索装置（情報表示装置１２００）は、使用者にとって適切な検索を行うことがきるので、使用者に有益な情報を適切に提供することができる。
【０２０３】
また、本実施形態では、検索制御部１１１２は、音声認識部１１１１によって抽出された単語（検索ワード）に基づく検索結果の数が予め定められた規定値（第３の規定数）以下になった場合に、類語と単語（検索ワード）とに基づく検索条件に基づいて、画像などの情報を検索手段１１に対して検索させる。
これにより、本実施形態における制御部１１０２ｂ及び検索装置（情報表示装置１２００）は、柔軟に検索結果の数を調整することができる。よって、本実施形態における制御部１１０２ｂ及び検索装置（情報表示装置１２００）は、使用者に有益な情報を適切に提供することができる。
【０２０４】
なお、本実施形態によれば、制御部１１０２ｂ（検出制御装置）は、音声認識部１１１１と、検索制御部１１１２とを備えている。音声認識部１１１１は、入力された音声情報に含まれる単語を抽出する。検索制御部１１１２は、音声認識部１１１１によって抽出された単語に基づいて、検索結果として出力される画像などの情報を検索手段１１に対して検索させる。そして、制御部は、検索制御部１１１２は、単語に基づく検索結果の数が予め定められた規定数以下になった場合に、単語に関連する類語（関連単語）に基づいて、画像などの情報を検索手段１１に対して検索させる。
これにより、本実施形態における制御部１１０２ｂ及び検索装置（情報表示装置１２００）は、柔軟に検索結果の数を調整することができる。よって、本実施形態における制御部１１０２ｂ及び検索装置（情報表示装置１２００）は、使用者に有益な情報を適切に提供することができる。
【０２０５】
次に、第１５の実施形態による検索制御装置、及び検索装置（出力装置）について、図面を参照して説明する。
［第１５の実施形態］
第１５の実施形態における検索装置（情報表示装置１２００）のシステム構成は、図２６に示される第１４の実施形態における検索装置（情報表示装置１２００）のシステム構成と同様である。
また、検索装置（情報表示装置１２００）の構成は、図２７に示される第１４の実施形態における検索装置（情報表示装置１２００）のシステム構成と同様である。
【０２０６】
本実施形態において、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に予め定められた復活を示す単語（復活語）が含まれている場合に、検索式から除外したキーワードを検索式に追加する。ここで、予め定められた復活を示す単語とは、例えば、「さっきのやつ」、「ちょっと前の」などの単語である。例えば、検索制御部１１１２は、音声認識部１１１１によって抽出された単語に上述した復活を示す単語が含まれているか否かを判定する。さらに、検索制御部１１１２は、上述した復活を示す単語が含まれていると判定した場合に、過去に検索式から除外したキーワードを検索式に追加する。この場合、検索制御部１１１２は、例えば、除外したキーワードのうちの新しいものから検索式に追加して復活させる。なお、除外したキーワードを復活させる場合には、検索制御部１１１２は、復活させるキーワードを２つの検索モードに応じて、論理和（ＯＲ）又は論理積（ＡＮＤ）により結合して検索式に追加する。
検索制御部１１１２において、その他の処理は、第１４の実施形態と同様であるので、ここでは説明を省略する。
【０２０７】
次に、本実施形態における検索装置（情報表示装置１２００）の動作について説明する。
図２９は、本実施形態における話題提供モードの処理の一例を示すフローチャートである。
この図において、本実施形態では、制御部１１０２ｂが、単語に復活語を含むか否かの判定処理を行う点が、図２８に示される第１４の実施形態における話題提供モードの処理と異なる。
この図において、まず、制御部１１０２ｂは、収音部１０１から音声入力があったか否かを判定する（ステップＳ３０１）。すなわち、制御部１１０２ｂは、収音部１０１から音声認識部１１１１に音声情報が入力されたか否かを判定する。制御部１１０２ｂは、音声情報が入力されたと判定した場合（ステップＳ３０１：ＹＥＳ）に、処理をステップＳ３０２に進める。制御部１１０２ｂは、音声情報が入力されていないと判定した場合（ステップＳ３０１：ＮＯ）に、処理をステップＳ３０１に戻し、音声情報が入力されるまでステップＳ３０１の処理を繰り返す。
【０２０８】
次に、制御部１１０２ｂは、音声認識及び形態素解析を行う（ステップＳ３０２）。すなわち、制御部１１０２ｂの音声認識部１１１１は、入力された音声情報を認識して、テキスト情報（文章）に変換するとともに、テキスト情報に含まれる単語を抽出する。音声認識部１１１１は、抽出した単語を検索制御部１１１２に供給する。また、音声認識部１１１１は、変換したテキスト情報（文章）と抽出した単語とを否定文検出部１１１３に供給する。
【０２０９】
次に、制御部１１０２ｂは、単語に復活語を含むか否かを判定する（ステップＳ３０３）。まず、制御部１１０２ｂの検索制御部１１１２は、音声認識部１１１１から取得した単語の中に、上述した予め定められた復活を示す単語である復活語を含んでいるか否かを判定する。検索制御部１１１２は、復活語を含んでいると判定した場合（ステップＳ３０３：ＹＥＳ）に、処理をステップＳ３０４に進める。また、検索制御部１１１２は、復活語を含んでいないと判定した場合（ステップＳ３０３：ＮＯ）に、処理をステップＳ３０５に進める。
【０２１０】
次に、ステップＳ３０４において、制御部１１０２ｂは、検索ワード（キーワード）復活及び検索処理を実行する。すなわち、制御部１１０２ｂの検索制御部１１１２は、例えば、過去に検索式から除外したキーワードのうちの新しいものから順に検索式に復活させる。検索制御部１１１２は、生成した検索式を検索手段１１にネットワーク１５を介して供給し、検索結果である画像などの情報を、ネットワーク１５を介して検索手段１１から取得する。その後、検索制御部１１１２は、処理をステップＳ３０８に進める。
【０２１１】
次のステップＳ３０５からステップＳ３１３までの処理は、図２８に示されるステップＳ２０６からステップＳ２１１までの処理と同様であり、ここでは説明を省略する。
また、図示を省略するが、会話追跡モードの処理においても、図２８のステップＳ３０３及びステップＳ３０４と同様に、制御部１１０２ｂは、単語に復活語を含むか否かの判定処理を実行する。
【０２１２】
以上、説明したように、本実施形態における制御部１１０２ｂの検索制御部１１１２は、音声認識部１１１１によって抽出された単語に予め定められた復活を示す単語が含まれている場合に、検索式から除外したキーワードを検索式に追加する。
これにより、検索式から誤って削除（除外）したキーワード（検索ワード）を復活させることができるので、本実施形態における制御部１１０２ｂ及び検索装置（情報表示装置１２００）は、適切に検索処理を行うことができる。本実施形態における制御部１１０２ｂ及び検索装置（情報表示装置１２００）は、使用者にとって適切な検索を行うことがきるので、使用者に有益な情報を適切に提供することができる。
【０２１３】
次に、第１６の実施形態による検索制御装置、及び検索装置（出力装置）について、図面を参照して説明する。
［第１６の実施形態］
図３０は、第１６の実施形態による検索装置（情報表示装置１２００）のブロック図である。
図３０において、検索装置（情報表示装置１２００）（出力装置）は、制御部１１０２ｂと、表示部２００と、検索部１１ａと、類語検索部１２ａと、を備えている。なお、本実施形態において、制御部１１０２ｂと、検索部１１ａと、類語検索部１２ａとは、検索制御装置１３０Ｂとして機能する。
この図において、図２７と同一の構成については同一の符号を付し、その説明を省略する。
【０２１４】
本実施形態における検索制御装置１３０Ｂ及び検索装置（情報表示装置１２００）は、検索部１１ａと、類語検索部１２ａとを備えている点が第１５の実施形態と異なる。
検索部１１ａ（検索手段）は、第１５の実施形態における検索手段１１と同様の機能を有し、キーワード（検索ワード）又はキーワードに基づく検索式に基づいて、キーワードに関連する画像、音声、文章などの情報を検索する。検索部１１ａは、例えば、ネットワークを介して、検索結果となる情報を検索してもよいし、内部に備えるデータベース（不図示）に記憶されている情報から検索結果となる情報を検索してもよい。
【０２１５】
類語検索部１２ａは、第１５の実施形態における類語検索手段１２と同様の機能を有し、類語取得部１１１４から供給された単語に基づいて、供給された単語に関連する関連単語である類語を検索し、検索した類語を、類語取得部１１１４に出力する。類語検索部１２ａは、例えば、ネットワークを介して、類語を検索してもよいし、内部に備える不図示のデータベース（例えば、類語辞書）に記憶されている情報から類語を検索してもよい。
【０２１６】
なお、本実施形態における検索制御装置１３０Ｂ及び検索装置（情報表示装置１２００）は、第１５の実施形態における動作と同様であるので、ここでは省略する。
【０２１７】
以上、説明したように、本実施形態における検索制御装置１３０Ｂは、画像などの情報を検索する検索部１１ａ（検索手段）を備えている。
これにより、本実施形態における検索制御装置１３０Ｂは、ネットワークに接続できない環境（オフライン）においても、使用者に有益な情報を適切に提供することができる。
【０２１８】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、第１の情報として音声情報を用いる形態を説明したが、これに限定されるものではない。例えば、チャットやメールなどによるテキスト情報によるコミュニケーションに対して、上記の各実施形態を適用することも可能である。この場合、音声認識の機能が不要になるので、上記の各実施形態を簡易な構成により実現することができる。
【０２１９】
また、上記の各実施形態において、検索結果の一例として画像などの情報を検索する形態を説明したが、音声を含む音情報、映像情報、テキスト情報などを検索する形態でもよい。また、上記の各実施形態において、検索装置（情報表示装置１２００）が出力部として表示部２００を備える形態を説明したが、出力部は、音情報を出力するスピーカなどの出力装置でもよいし、他の形態でもよい。また、検索装置（情報表示装置１２００）は、検索結果を出力するインターフェースを出力部として備え、外部に接続された表示部２００やスピーカにインターフェースを介して出力する形態でもよい。
【０２２０】
また、上記の各実施形態において、会議など複数の使用者が検索装置（情報表示装置１２００）を使用する形態を説明したが、１人の使用者によって、検索装置（情報表示装置１２００）が使用される形態でもよい。このように、検索装置（情報表示装置１２００）は、１人で何かを検討したり、まとめたりする場合においても、有益な情報を適切に提供することができる。
【０２２１】
また、上記の各実施形態において、検索式を生成する論理演算子として論理和と論理積とを用いる形態を説明したが、他の論理演算子を用いる形態でもよい。
また、上記の各実施形態における各実施形態又は各変形例との組み合わせは、上記に限定されるものではない。例えば、上記の第１４の実施形態は、第１３の実施形態と組み合わせて実施する形態を説明したが、第１２の実施形態と組み合わせて実施する形態でもよい。また、同様に、上記の第１５の実施形態は、第１４の実施形態と組み合わせて実施する形態を説明したが、第１２又は第１３の実施形態と組み合わせて実施する形態でもよい。また、同様に、上記の第１６の実施形態は、第１４又は第１５の実施形態と組み合わせて実施する形態を説明したが、第１２又は第１３の実施形態と組み合わせて実施する形態でもよい。
【０２２２】
なお、上記の各実施形態における制御部１１０２（１１０２ａ，１１０２ｂ）及び検索制御装置１３０Ｂが備える各部は、専用のハードウェアにより実現されるものであってもよく、また、制御部１１０２（１１０２ａ，１１０２ｂ）及び検索制御装置１３０Ｂが備える各部はメモリおよびＣＰＵ（中央演算装置）により構成され、制御部１１０２（１１０２ａ，１１０２ｂ）及び検索制御装置１３０Ｂが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、上述の制御部１１０２（１１０２ａ，１１０２ｂ）、検索制御装置１３０Ｂ及び検索装置（情報表示装置１２００）は内部に、コンピュータシステムを有している。そして、上述した制御部１１０２（１１０２ａ，１１０２ｂ）、検索制御装置１３０Ｂ及び検索装置（情報表示装置１２００）の処理過程（処理手順）は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われてもよい。
【０２２３】
また、制御部１１０２（１１０２ａ，１１０２ｂ）、検索制御装置１３０Ｂ及び検索装置（情報表示装置１２００）が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部１１０２（１１０２ａ，１１０２ｂ）、検索制御装置１３０Ｂ及び検索装置（情報表示装置１２００）が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０２２４】
次に、第１７の実施形態から第２１の実施形態までにおいて、本発明の一実施形態である情報表示装置について説明する。以下の説明において、表示制御装置によって表示内容が制御される表示部の詳細を説明する。
【０２２５】
［第１７の実施形態］
以下、図面等を参照して、本発明の実施形態について説明する。図３１は、本発明の一実施形態である情報表示装置１２００を示す。図３２は、表示制御装置１１００による操作モード判定の説明図である。図３３は、表示部２００による操作モードの表示の説明図である。
【０２２６】
情報表示装置１２００は、表示部２００に表示した画像をタッチ操作することで表示に対して操作する表示操作モード（以下タッチモードと呼ぶ）と、当該情報表示装置１２００に接続された外部装置１５００の操作が可能な移動操作モード（以下マウスモードと呼ぶ）の、２つの操作モードを切り換えて操作可能に構成されている。
【０２２７】
情報表示装置１２００は、表示入力部１３００と、表示制御装置１１００とを備える。
表示入力部１３００は、全体形状が略直方体状の筐体１３１１と、筐体１３１１の上面に配設された表示部２００と、を備えている。筐体１３１１の内部には、画像投影部１３３０と、タッチ操作検出部１３４０および移動量検出部１３５０が配設されている。
表示制御装置１１００は、当該情報表示装置１２００を統括制御するものであり表示入力部１３００から出力部６５を介して接続されている。
【０２２８】
表示部２００は、筐体１３１１の上面略全体を覆うように配設された板状の表示板２１と、その内面（筐体１３１１の内部に対向する面）に形成されたスクリーン２２と、により構成されている。
表示板２１は、たとえば透明アクリルやポリカーボネート等、可視光および赤外光を透過可能な素材によって所定厚さに形成されており、その板面方向に全反射を利用して導光可能となっている。
スクリーン２２は、表示板２１の内面に、照射された可視光を乱反射するように形成された光散乱層である。
そして、表示部２００は、後述する画像投影部１３３０から投射された画像光をスクリーン２２で散乱させて、表示板２１の外面側から視認可能に表示する。
【０２２９】
画像投影部１３３０は、詳細には示さないが、投射光源と画像透光表示部と光学系とにより構成されており、画像光を表示板２１（スクリーン２２）に向けて投射するように、筐体１３１１の内部所定位置に配設されている。画像投影部１３３０は、後述する表示制御装置１１００（画像処理装置６２）から入力される画像情報の画像光をスクリーン２２に投射する。
【０２３０】
タッチ操作検出部１３４０は、検出光源４１と、検出光受光装置４２と、により構成されている。
検出光源４１は、検出光としての赤外光（検出赤外光）を出射する光源であって、表示部２００における表示板２１の側端面に、表示板２１の内部に検出赤外光を照射するように配設されている。検出光源４１によって表示板２１の側端面から内部に照射された検出赤外光は、表示板２１の内外面で全反射を繰り返して反対側の側端に至るようになっている。
検出光受光装置４２は、詳しくは図示しないが、結像光学系と受光素子等とを備え、検出光源４１が出射する波長の検出赤外光を画像として撮影可能ないわゆる赤外線カメラである。検出光受光装置４２は、スクリーン２２の全域を撮影可能として、筐体１３１１の内部所定位置に配設されている。
【０２３１】
上記のように構成されたタッチ操作検出部１３４０は、表示部２００における表示板２１の外面への操作主体である手（指または掌等）の接触による検出赤外光の散乱を、検出光受光装置４２が撮像する。すなわち、表示板２１の外面に手等が接触すると、その接触部分では表示板２１の内部における検出赤外光の反射光路に乱が生じ、検出赤外光が表示板２１の内面側に漏出する。検出光受光装置４２は、この表示板２１の内面側に漏出した検出赤外光を撮像する。
そして、タッチ操作検出部１３４０は、検出光受光装置４２による、表示板２１の外面への手の接触情報が含まれる撮像情報を、出力部６５を介して表示制御装置１１００に出力する。
【０２３２】
移動量検出部１３５０は、本実施形態では、当該情報表示装置１２００が設置された面（設置面）を照射する赤外光源５１と、赤外光源５１が照射した赤外光の設置面からの反射光を受光する受光部５２とにより構成されている。移動量検出部１３５０は、受光部５２が受光した設置面からの赤外反射光の変化から、受光部５２の移動（すなわち、情報表示装置１２００の移動）を検出し、その検出情報（移動情報）を表示制御装置１１００（ＣＰＵ６１）へ出力する。
【０２３３】
表示制御装置１１００は、ＣＰＵ６１、画像処理装置６２、メモリ６３、ストレージ６６、外部装置１５００へと接続される出力ケーブル６４、等を備えて構成されている。表示制御装置１１００は、メモリ６３に格納されたプログラムによるＣＰＵ６１の駆動によって、ストレージ６６に格納された画像情報を画像処理装置６２で処理して画像投影部１３３０に出力し、画像投影部１３３０を介して表示部２００に表示させる。
【０２３４】
また、表示制御装置１１００は、タッチ操作検出部１３４０（検出光受光装置４２）から入力された表示板２１の外面への接触操作情報が含まれる撮像を解析し、操作モード（タッチモードまたはマウスモード）の判定と、それぞれの制御とを行う。
【０２３５】
画像処理装置６２は、タッチ操作検出部１３４０（検出光受光装置４２）から入力された表示板２１の撮像を解析し、操作モード判定のための判定基礎情報を作成する。
本実施形態における操作モード判定のための判定基礎情報は、表示部２００における表示板２１の外面に手が接触した、その位置、接触面積、数等である。
画像処理装置６２は、作成したこれらの判定基礎情報を、ＣＰＵ６１に出力する。
【０２３６】
ＣＰＵ６１は、画像処理装置６２から入力された判定基礎情報に基づいて操作モード（タッチモードまたはマウスモード）の判定を行うと共に、それぞれの制御を行う。
ＣＰＵ６１による操作モードの判定は、たとえば、表示部２００における表示板２１の外面に手が接触したその接触領域の面積を定められた判定基準（基準面積）と比較し、接触領域の面積が基準面積を越えない場合にはタッチモードと判定し、接触面積が基準面積を越える場合にはマウスモードと判定する。
【０２３７】
すなわち、図３２（ａ），（ｂ）に示すように表示板２１を指先で操作している場合には接触領域：ＴＡ（Ｓ）の面積は合計しても小さく、タッチモードと判定する。一方、情報表示装置１２００全体を移動操作しようとして掴んだ場合には、図３２（ｃ）に示すように表示板２１に掌が接触して接触領域：ＴＡ（Ｌ）の面積は大きくなるため、マウスモードと判定するものである。
【０２３８】
また、操作モードの判定は、接触領域の数に基づいて行っても良い。たとえば、図３２（ｄ）に示すように、接触領域：ＴＡが４箇所以上でマウスモードと判定する等である。なお、接触面積と接触領域の数との両者を加味した判定基準を定めても良い。
【０２３９】
さらに、ＣＰＵ６１は、操作モード判定によってマウスモードと判定した場合には、加えて操作する手の向きを識別して操作の前後方向を判別するようにしても良い。すなわち、情報表示装置１２００を移動操作しようとして表示部２００（表示板２１）に手を置くと、図３２（ｄ）に示すように、指先による複数の小さい接触領域：ＴＡ（Ｓ）と、掌による広い接触領域：ＴＡ（Ｌ）とが検出される。そこで、複数の小さい接触領域：ＴＡ（Ｓ）の側を前方側：Ｆ、広い接触領域：ＴＡ（Ｌ）の側を手前（後方）側：Ｒ、と識別して移動座標を設定し、以後、その移動座標に基づいて制御する。
【０２４０】
また、ＣＰＵ６１は、図３３に示すように、適用する操作モード（タッチモードまたはマウスモード）を、操作する手によって隠されることのない表示部２００（表示板２１）の周辺部に表示する。これにより、操作者に適用操作モードが解り、誤操作を防ぐことができる。図３３では、マウスのシンボル：Ｓと文字表記：Ｌとによってマウスモードを表示している。
なお、適用する操作モードを操作者に認識させる制御としては、表示部２００における表示をＯＦＦとする構成としても良い。マウスモードでは表示部２００が手で覆われて視認が困難となって表示部２００における表示の必要性は少なく、これによって省電力にもなる。
【０２４１】
ＣＰＵ６１は、上記のようにして操作モードを判定した後、その判定結果に応じてタッチモードまたはマウスモードのそれぞれの制御を行う。
タッチモードでは、タッチ操作検出部１３４０から入力された検出光受光装置４２の撮像から、手の表示板２１の外面への接触とその移動を解析し、その接触および移動を、表示板２１に表示された画像（たとえばサムネイル等）に対するクリックや、表示画像の拡大・縮小および移動操作として認識して制御する。
マウスモードでは、移動量検出部１３５０から入力された当該情報表示装置１２００の移動情報に基づく信号を、出力ケーブル６４を介して接続された外部装置１５００に出力し、外部装置１５００を操作する。
【０２４２】
なお、表示制御装置１１００における、表示入力部１３００との接続は、有線または無線の何れによっても良く、また、表示制御装置１１００は表示入力部１３００の内部（筐体１３１１の内部）に配設しても良い。さらに、表示制御装置１１００は、パーソナルコンピュータによって構成しても良い。
【０２４３】
上記にように構成された情報表示装置１２００は、表示制御装置１１００におけるＣＰＵ６１がタッチモードとマウスモードとを判定し、タッチモードでは表示部２００に表示された画像に接触すること画像と対応した入力が可能であると共に、マウスモードでは当該情報表示装置１２００を移動させることで、外部装置１５００の操作が可能となる。これにより、表示装置とマウスとの両方の機能を有するものとなる。
【０２４４】
［第１８の実施形態］
つぎに、図３４示す本発明の第１８実施形態を説明する。
図３４は、本発明の第１８実施形態における情報表示装置１２００Ｂの概念構成図である。
なお、第１８実施形態における情報表示装置１２００Ｂの基本構成は前述した第１７実施形態における情報表示装置１２００と同様であり、同様の構成要素には同符号を付して説明を省略する。
図３４に示す情報表示装置１２００Ｂは、筐体１３１１と、筐体１３１１の上部に配設された表示部２００と、画像投影部１３３０と、タッチ操作検出部１３４０と、移動量検出部１３５０と、圧力センサ１３７０と、表示制御装置１１００と、を備えている。また、情報表示装置１２００Ｂには、ディスプレイ３００が接続されている。
【０２４５】
表示部２００における表示板２１は、所定の板厚で中空半球状に形成されており、その内周面全域にスクリーン２２が形成されている。
画像投影部１３３０は、投射表示部３１と、投影受光光学系３２とにより構成されている。
投射表示部３１は、ＬＣＤによる画像透光表示部と図示しない投射光源とにより構成されている。
【０２４６】
投影受光光学系３２は、画角が略１８０°の魚眼レンズである対物レンズ３２Ａを備えており、表示部２００の全域を画角内として配設されている。
そして、投影受光光学系３２は、画像光を表示板２１（スクリーン２２）に向けて投射するように、半球状の表示部２００の略中心に配設されている。投影受光光学系３２は、表示制御装置１１００（画像処理装置６２）から入力される画像情報の画像光をスクリーン２２に投射する。なお、この投影受光光学系３２は、タッチ操作検出部１３４０の入射光学系も兼ねている。
【０２４７】
タッチ操作検出部１３４０は、検出光源４１と、検出光受光装置４２とにより構成されている。
検出光源４１は、表示部２００における表示板２１の側端面に、表示板２１の内部に検出赤外光を照射するように配設されている。検出光源４１によって表示板２１の側端面から内部に照射された検出赤外光は、表示板２１の内外面で全反射を繰り返して反対側の側端に至るようになっている。
【０２４８】
検出光受光装置４２は、ダイクロイックミラー４２Ｍと、ＣＣＤ等による赤外光受光センサ４２Ｓとにより構成されている。
ダイクロイックミラー４２Ｍは、特定波長の赤外光（検出光源４１が出射する検出赤外光）のみを反射し可視光は透過する周波数特性を備えた反射鏡である。ダイクロイックミラー４２Ｍは、投影受光光学系３２における投射表示部３１と投影受光光学系３２の間の光路中に、光路に対して所定の角度で介設されている。
赤外光受光センサ４２Ｓは、投影受光光学系３２から入射してダイクロイックミラー４２Ｍによって反射された検出光源４１由来の検出赤外光を検出可能に配設されている。
このような検出光受光装置４２は、画像投影部１３３０と投影受光光学系３２を共用するため、全体をコンパクトに構成できると共に、画像の歪み補正が不要または容易である。
【０２４９】
移動量検出部１３５０は、筐体１３１１の底部に回転自在に設けられたボール５３と、ボール５３の直交する２方向における回転を検出する図示しないセンサとを備え、筐体１３１１（すなわち情報表示装置１２００Ｂ）の移動に伴うボール５３の回転をセンサによって検出して出力する、いわゆるトラックボールである。
【０２５０】
圧力センサ１３７０は、筐体１３１１と表示部２００における表示板２１との間に介設されている。圧力センサ１３７０は、表示板２１に作用する押圧力を検出して、その検出情報を表示制御装置１１００に出力する。
なお、表示板２１に作用する押圧力を検出する構成としては、圧力センサ１３７０に限らず、所定の押圧力でＯＮ／ＯＦＦするスイッチを用いても良い。また、その配設位置は、たとえば、筐体１３１１の裏面として、設置面との間に介在する構成であっても良い。
【０２５１】
ディスプレイ３００は、マウスモードでは表示部２００が手で覆われて視認が困難となるため、表示部２００に代わって画像等を表示する。そして、その画面上にマウスモードの操作をポインタで表すことで操作性が向上する。
【０２５２】
表示制御装置１１００は、圧力センサ１３７０から入力される表示部２００（表示板２１）に作用する押圧力の検出情報に基づいて、操作モード（タッチモードまたはマウスモード）を判定し、それぞれの制御を行う。
操作モードの判定は、圧力センサ１３７０から入力される表示板２１に作用する押圧力を判定基準（閾値）と比較し、押圧力が定められた基準圧力を越えない場合にはタッチモードと判定し、押圧力が基準圧力を越える場合にはマウスモードと判定する。
【０２５３】
すなわち、表示板２１を指先で操作している場合には作用する押圧力は小さいためにタッチモードとし、情報表示装置１２００全体を移動操作しようとして掴んだ場合には少なくとも手の重量が作用して押圧力が大きくなるためにマウスモードと判定する。
【０２５４】
表示制御装置１１００は、上記のようにして操作モードを判定した後、その判定結果に応じてタッチモードまたはマウスモードのそれぞれの制御を行う。この制御については、前述の第１７の実施形態と同様であるが、マウスモードの場合には、ディスプレイ３００上に表示部２００に代わって画像等を表示し、その画面上にマウスモードの操作をポインタで表示する。
【０２５５】
［第１９の実施形態］
つぎに、図３５示す本発明の第１９の実施形態を説明する。
図３５は、本発明の第１９の実施形態における情報表示装置１２００Ｃの概念構成図である。
なお、第１９の実施形態における情報表示装置１２００Ｃの基本構成は前述した第１８の実施形態における情報表示装置１２００Ｂと同様であり、同様の構成要素には同符号を付して説明を省略する。
【０２５６】
第１９の実施形態に係る情報表示装置１２００Ｃは、前述した第１８の実施形態おける情報表示装置１２００Ｂに対して、筐体１３１１の形状と、圧力センサ１３７０の構成が異なる。
情報表示装置１２００Ｃは、タッチモードにおいて手（掌）１９０を置くためのパームレスト１３１２を備えている。
すなわち、筐体１３１１の一方側方に突設された、上面が外側に向かって下がり勾配のパームレスト１３１２が形成されている。
【０２５７】
パームレスト１３１２の上面には、圧力センサ１３７０が設けられている。
圧力センサ１３７０は、パームレスト１３１２に置かれた手１９０の圧力を検知し、その検知情報を表示制御装置１１００に出力する。
表示制御装置１１００は、圧力センサ１３７０からパームレスト１３１２に置かれた手１９０の圧力検知情報が入力されると、マウスモードと判定するものである。
なお、パームレスト１３１２に置かれた手１９０の検出は、圧力センサに限らず、押圧スイッチや赤外線感知スイッチ等であっても良い。
【０２５８】
［第２０の実施形態］
つぎに、図３６示す本発明の第２０の実施形態を説明する。
図３６は、本発明の第２０の実施形態における情報表示装置１２００Ｄの概念構成図である。
なお、第２０の実施形態における情報表示装置１２００Ｄの基本構成は前述した第１８の実施形態における情報表示装置１２００Ｂと同様であり、同様の構成要素には同符号を付して説明を省略する。
第２０の実施形態に係る情報表示装置１２００Ｄは、前述した第１８の実施形態おける情報表示装置１２００Ｂに加えて、タッチモード時において当該情報表示装置１２００Ｄの移動を規制する移動規制機構１３９０を備える。
【０２５９】
移動規制機構１３９０は、筐体１３１１の底部に設けられたスライドパッド９１と、スライドパッド９１を移動駆動するアクチュエータ９２と、により構成されている。
スライドパッド９１は、摩擦係数が小さく耐摩耗性の高い素材（たとえばポリアセタール樹脂等）によって形成され、筐体１３１１の内部に引っ込んだ退避状態と、筐体１３１１の底面から所定量突出した作用状態との間で移動可能に設けられている。
アクチュエータ９２は、たとえば電気的に駆動するソレノイド等であり、表示制御装置１１００によって駆動制御され、スライドパッド９１を、筐体１３１１の内部に引っ込んだ退避状態から、底面から突出した作用状態に移動操作する。
【０２６０】
表示制御装置１１００は、操作モード判定によってタッチモードと判定した場合には、スライドパッド９１を退避状態とし、マウスモードと判定した場合には、アクチュエータ９２を駆動してスライドパッド９１を筐体１３１１の底面から突出させる。
これにより、タッチモードでは筐体１３１１の底面全体が設置面に当接して移動しづらく安定した操作が可能となると共に、マウスモードではスライドパッド９１のみが設置面に当接して円滑な移動が可能となる。
【０２６１】
［第２１の実施形態］
つぎに、図３７示す本発明の第２１の実施形態を説明する。
図３７は、本発明の第２１の実施形態における情報表示装置１２００Ｅの概念構成図である。
なお、第２１の実施形態における情報表示装置１２００Ｅの基本構成は前述した第１７の実施形態における情報表示装置１２００と同様であり、同様の構成要素には同符号を付して説明を省略する。
【０２６２】
第２１の実施形態に係る情報表示装置１２００Ｅは、前述した第１７の実施形態における情報表示装置１２００に加えて、音声生成部１３８０を備える。
音声生成部１３８０は、ＣＰＵ６１に接続され、ストレージ６６に保存されている楽曲を情報表示装置１２００Ｅより流すことが可能となっている。
第２１の実施形態においてマウスモードの際に、移動量検出部１３５０から入力された当該情報表示装置１２００の移動情報に基づくＣＰＵ６１からの指令によって、音声生成部１３８０における楽曲が変更され、または音声の強弱の変更等が行われる。
【０２６３】
以上、本実施形態によると、以下の効果を有する。
（１）本発明の情報表示装置１２００は、表示部２００に表示した画像を接触操作することで表示に対して操作するタッチモードと、当該情報表示装置１２００の全体を移動操作することで諸々の操作が可能なマウスモードの２つの操作モードで操作できる。
（２）情報表示装置１２００は、タッチモードとマウスモードの操作モードの切り換えが、表示部２００への接触状態に基づく判定によって行われるため、操作モードの切り換えが容易に行える。
【０２６４】
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。例えば、上記各実施形態における表示部２００の形状、タッチ操作検出部１３４０および移動量検出部１３５０の構成や、構成の組み合わせは、各実施形態に限定されるものではなく、適宜変更可能である。
【０２６５】
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【０２６６】
なお、上述した各実施形態の説明において、表示制御装置１１００、検索手段制御装置１１０１及び検索結果出力装置１３０は、机３の天板部分に埋め込まれた表示部２００、２００Ａに情報を表示させているが、これに限られない。例えば、表示部２００は、壁に設置されているものでもよく、図１に示すように半球状の表示部２００が机３の上に設置されていてもよい。
図１は、半球状に構成された表示部２００に出力する表示システム１０００の一例を示す構成図である。
表示制御装置１１００は、表示部２００に検索結果を示す画像を表示させる。この場合、表示部２００に表示される画像は、特定の発話者２にのみ視認されることになる。例えば、表示制御装置１１００、検索手段制御装置１１０１及び検索結果出力装置１３０は、所定の方向に向かって着席している特定の発話者２（例えば、図２、図７における発話者２Ａ）によって発せられた音声情報に基づいて、文字情報のうちから特定の文字情報を選択することができる。これにより、例えば、表示制御装置１１００、検索手段制御装置１１０１及び検索結果出力装置１３０は、発話者２Ａが特定の情報（例えば、発話者２Ａ自身が作成した会議資料）を検索して表示するように要求する内容を発言した場合に、発話者２Ａにのみ視認されるようにして、特定の情報を表示させることができる。
【０２６７】
なお、上述した各実施形態において、表示制御装置１１００、検索手段制御装置１１０１及び検索結果出力装置１３０は、４つの収音部１０１を備えている構成を一例にして説明したが、これに限られない。表示制御装置１１００、検索手段制御装置１１０１及び検索結果出力装置１３０は、収音部１０１の周囲の音声が検出できればよく、例えば、机３の下部などに、単一の又は複数の収音部１０１を備えていてもよい。これにより、表示制御装置１１００、検索手段制御装置１１０１及び検索結果出力装置１３０は、例えば、机３の大きさに応じた位置及び数の収音部１０１を備えることができる。
【０２６８】
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
【０２６９】
なお、上記の実施形態における情報生成部１１１０、結果出力処理部１１２０、生成部１０２、変換部１０３、識別部１０４、選択部１０６、出力部１０７、結果選択部１０８、設定部１０９、又は結果出力部１１０（以下、これらを総称して制御部ＣＯＮＴと記載する）又はこの制御部ＣＯＮＴが備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【０２７０】
なお、この制御部ＣＯＮＴが備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、制御部ＣＯＮＴが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【０２７１】
また、制御部ＣＯＮＴが備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部ＣＯＮＴが備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０２７２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０２７３】
１０００…表示システム
１１００…表示制御装置、１１１０…情報生成部、１１２０…結果出力処理部、
１２００…情報表示装置、
２…発話者、１１…検索手段、
１０１…収音部、２００…表示部（表示装置）、３００…ディスプレイ（外部装置）
【図１】
2014013494.tif 000003
【図２】
2014013494.tif 000004
【図３】
2014013494.tif 000005
【図４】
2014013494.tif 000006
【図５】
2014013494.tif 000007
【図６】
2014013494.tif 000008
【図７】
2014013494.tif 000009
【図８】
2014013494.tif 000010
【図９】
2014013494.tif 000011
【図１０】
2014013494.tif 000012
【図１１】
2014013494.tif 000013
【図１２】
2014013494.tif 000014
【図１３】
2014013494.tif 000015
【図１４】
2014013494.tif 000016
【図１５】
2014013494.tif 000017
【図１６】
2014013494.tif 000018
【図１７】
2014013494.tif 000019
【図１８】
2014013494.tif 000020
【図１９】
2014013494.tif 000021
【図２０】
2014013494.tif 000022
【図２１】
2014013494.tif 000023
【図２２】
2014013494.tif 000024
【図２３】
2014013494.tif 000025
【図２４】
2014013494.tif 000026
【図２５】
2014013494.tif 000027
【図２６】
2014013494.tif 000028
【図２７】
2014013494.tif 000029
【図２８】
2014013494.tif 000030
【図２９】
2014013494.tif 000031
【図３０】
2014013494.tif 000032
【図３１】
2014013494.tif 000033
【図３２】
2014013494.tif 000034
【図３３】
2014013494.tif 000035
【図３４】
2014013494.tif 000036
【図３５】
2014013494.tif 000037
【図３６】
2014013494.tif 000038
【図３７】
2014013494.tif 000039