(57)【要約】    【構成】  情報検索表示システム１０はメモリ３２（３６）を含み、このメモリに各キーワード毎に、そのキーワードに関連する画像情報および音声情報とそれらを識別するためのアイコンとを予め蓄積する。コンピュータ２６は、メモリに蓄積されているキーワードをプロジェクタ３０によって表示させる。オペレータが画面上のキーワードにタッチすると、コンピュータはそのタッチを検出し、キーワードに関連する関連情報の表示順を決定し、プロジェクタによって、表示順に従ってアイコンを無限循環的に表示させる。このアイコンにオペレータがタッチして押さえ付けると、タッチされたアイコンで示される関連情報がプロジェクタによって表示される。    【効果】  キーワードをキーボードを使って手入力するなどの操作を必要とせず、簡単に情報を検索し、表示することができる。【選択図】  図２
2005032023.tif 000002
【特許請求の範囲】
【請求項１】
情報を検索して、画面上のタッチ位置を特定できる表示装置によって表示する、情報検索表示システムであって、
各キーワード毎に、そのキーワードに関連する情報と各関連情報を識別するための識別情報とを蓄積したメモリ、
前記キーワードを前記表示装置によって表示させるキーワード表示手段、
前記キーワード表示手段によって表示されたキーワードが前記表示装置の画面上でタッチされたかどうか判断する第１タッチ判断手段、
前記第１タッチ判断手段によって肯定的な判断がなされたときそのキーワードに関連する関連情報を検索してその表示順を決定する表示順決定手段、
前記表示順決定手段によって決定された表示順に従って前記関連情報の前記識別情報を前記表示装置によって順次表示させる識別情報表示手段、
前記識別情報表示手段によって表示された識別情報が前記表示装置の画面上でタッチされたかどうか判断する第２タッチ判断手段、および
前記第２タッチ判断手段によって肯定的な判断がなされたときその識別情報を前記表示装置に表示させる関連情報表示手段を備える、情報検索表示システム。
【請求項２】
前記表示装置は
赤外光を透過できる材料からなるスクリーン、
前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、
前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、
前記赤外カメラからの映像信号に基づいて前記赤外光が遮られた遮光領域を検出する遮光領域検出手段、
前記検出手段によって検出された遮光領域のサイズを計測するサイズ計測手段、および
前記サイズ計測手段によって計測されたサイズが一定範囲内の遮光領域の座標データを出力する座標データ出力手段を含み、
前記第１タッチ判断手段は前記座標データ出力手段からの座標データが前記画面上のキーワードの表示領域に含まれる座標の座標データかどうか判断し、
前記第２タッチ判断手段は前記座標データ出力手段からの座標データが前記画面上の識別情報の表示領域に含まれる座標の座標データかどうか判断する、請求項１記載の情報検索表示システム。
【請求項３】
スピーカをさらに備え、
前記メモリにはさらに音声情報を蓄積しておき、そして
前記第２タッチ判断手段によって音声情報を示す識別情報へのタッチが判断されたとき前記メモリから音声情報を読み出して前記スピーカに出力する音声情報出力手段をさらに備える、請求項１または２記載の情報検索表示システム。
【請求項４】
前記識別情報表示手段は、識別情報を無限循環的に表示させる、請求項１ないし３のいずれかに記載の情報検索表示システム。
【請求項５】
前記第２タッチ判断手段は、掃出し動作であるか、引き寄せ動作であるか、押さえ付け動作であるかを判断する動作判断手段を含み、
前記関連情報表示手段は前記動作判断手段が前記押さえ付け動作を判断したとき前記関連情報を表示する、請求項1ないし４のいずれかに記載の情報検索表示システム。
【請求項６】
前記動作判断手段が掃出し動作を判断したとき該当する識別情報を画面の表示領域から掃出させる掃出し手段をさらに備える、請求項５記載の情報検索表示システム。
【請求項７】
前記動作判断手段が引き寄せ動作を判断したとき該当する識別情報を画面上の保存エリアにドラッグするドラッグ手段をさらに備える、請求項５または６記載の情報検索表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は情報検索表示システムに関し、特にたとえば、メモリに蓄積した情報をキーワードを用いて検索し、大画面スクリーンの前に立った人間の手でそのスクリーンをタッチすることによってスクリーンの座標を獲得できる、大画面タッチパネルによって表示する、情報検索表示システムに関する。
【背景技術】
【０００２】
キーワードを用いて画像データを検索して表示するシステムの従来技術が特許文献１などに開示されている。
【０００３】
この特許文献１に開示された従来技術では、画像データに付加してキーワードを記憶し、指定キーワードを入力することによって、指定キーワードと関連度の高い順に画像を表示するものである。
【特許文献１】特開平５−８９１７６号公報［Ｇ０６Ｆ  １５／４０］
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の従来技術では、指定キーワードに関連する画像を漏れなく検索表示できるという特徴があるが、従来の他のキーワード方式の画像検索表示システムと同様に、各画像データに予め分類付与されているキーワードを知得しておく必要があり、そのシステムを初めて操作する者や特別な技能を持たない者では検索が難しいという問題がある。
【０００５】
それゆえに、この発明の主たる目的は、画像情報や音声情報を容易に検索し、表示することができる、情報検索表示システムを提供することである。
【課題を解決するための手段】
【０００６】
請求項１の発明は、情報を検索して、画面上のタッチ位置を特定できる表示装置によって表示する、情報検索表示システムであって、各キーワード毎に、そのキーワードに関連する情報と各関連情報を識別するための識別情報とを蓄積したメモリ、キーワードを表示装置によって表示させるキーワード表示手段、キーワード表示手段によって表示されたキーワードが表示装置の画面上でタッチされたかどうか判断する第１タッチ判断手段、第１タッチ判断手段によって肯定的な判断がなされたときそのキーワードに関連する関連情報を検索してその表示順を決定する表示順決定手段、表示順決定手段によって決定された表示順に従って関連情報の識別情報を表示装置によって順次表示させる識別情報表示手段、識別情報表示手段によって表示された識別情報が表示装置の画面上でタッチされたかどうか判断する第２タッチ判断手段、および第２タッチ判断手段によって肯定的な判断がなされたときその識別情報を表示装置に表示させる関連情報表示手段を備える、情報検索表示システムである。
【０００７】
請求項１の発明では、メモリに予め蓄積された情報を検索して、表示装置によって表示する。つまり、メモリには、キーワード毎に、そのキーワードに関連する情報（画像または映像情報もしくは音声情報）とそれら関連情報を識別するための識別情報（実施例ではアイコン）とを蓄積する。そして、典型的にはコンピュータで構成される各手段がそれらの情報を検索し表示する。
【０００８】
詳しくいうと、キーワード表示手段によって、メモリに蓄積されているキーワードをたとえば無限循環的に画面上に表示させる。オペレータまたはユーザは、その画面上に表示されたキーワードの１つまたは２以上にタッチする。そうすると、第１タッチ判断手段がキーワードへのタッチを検出する。したがって、表示順決定手段がそのキーワードに関連する関連情報の表示順を決定し、識別情報表示手段が識別情報（アイコン）をその表示順に従って表示させる。このアイコンにユーザないしオペレータがタッチすると、第２タッチ判断手段が肯定的な判断を行い、それに応じて関連情報表示手段が、タッチされた識別情報を表示装置に表示させる。
【０００９】
請求項２の発明は、請求項１に従属し、表示装置は赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、赤外カメラからの映像信号に基づいて赤外光が遮られた遮光領域を検出する遮光領域検出手段、検出手段によって検出された遮光領域のサイズを計測するサイズ計測手段、およびサイズ計測手段によって計測されたサイズが一定範囲内の遮光領域の座標データを出力する座標データ出力手段を含み、第１タッチ判断手段は座標データ出力手段からの座標データが画面上のキーワードの表示領域に含まれる座標の座標データかどうか判断し、第２タッチ判断手段は座標データ出力手段からの座標データが画面上の識別情報の表示領域に含まれる座標の座標データかどうか判断する、情報検索表示システムである。
【００１０】
請求項２の発明では大画面表示システムを用いるが、この場合には、スクリーンの前方に人間が立って、人間が手によってスクリーンに直接タッチすると、その手や人間の体によって遮光領域が形成され、その遮光領域のたとえば中心座標データが、タッチ位置データとなる。したがって、第１および第２タッチ判断手段はそのような座標データに基づいて、画面上のキーワードや識別情報がタッチされたかどうかを判定することになる。
【００１１】
請求項３の発明は、請求項１または２に従属し、スピーカをさらに備え、メモリにはさらに音声情報を蓄積しておき、そして第２タッチ判断手段によって音声情報を示す識別情報へのタッチが判断されたときメモリから音声情報を読み出してスピーカに出力する音声情報出力手段をさらに備える、情報検索表示システムである。
【００１２】
請求項３の発明では、メモリに音声情報を蓄積していて、音声情報出力手段は、第２タッチ判断手段によって音声情報を示す識別情報へのタッチが判断されたときメモリから音声情報を読み出してスピーカに出力する。
【００１３】
請求項４の発明は、請求項1ないし３のいずれかに従属し、識別情報表示手段は、識別情報を無限循環的に表示させる、情報検索表示システムである。
【００１４】
請求項４の発明では、識別情報表示手段が識別情報を無限循環的に表示させる。この場合には、一度見逃した識別情報であっても次に選択できる。
【００１５】
請求項５の発明は、請求項1ないし４のいずれかに従属し、第２タッチ判断手段は、掃出し動作であるか、引き寄せ動作であるか、押さえ付け動作であるかを判断する動作判断手段を含み、関連情報表示手段は動作判断手段が押さえ付け動作を判断したとき関連情報を表示する、情報検索表示システムである。
【００１６】
請求項６の発明は、請求項５に従属し、動作判断手段が掃出し動作を判断したとき該当する識別情報を画面の表示領域から掃出させる掃出し手段をさらに備える情報検索表示システムである。
【００１７】
請求項７の発明は、請求項５または６に従属し、動作判断手段が引き寄せ動作を判断したとき該当する識別情報を画面上の保存エリアにドラッグするドラッグ手段をさらに備える情報検索表示システムである。
【００１８】
請求項５の発明では、関連情報表示手段は、第２タッチ判断手段の動作判断手段が押さえ付け動作を判断したときを関連情報を表示する。
【００１９】
そして、請求項６の発明のように、動作判断手段が掃出し動作を判断したときには、該当する識別情報を画面の表示領域から掃出させるので、その識別情報によって示される関連情報は表示されない。
【００２０】
また、請求項７の発明のように、動作判断手段が引き寄せ動作を判断したとき、ドラッグ手段は該当する識別情報を画面上の保存エリアにドラッグする。それによって任意のタイミングでの関連情報の再生または表示を予約することができる。
【発明の効果】
【００２１】
この発明によれば、キーワードや識別情報を表示させそれらをユーザないしオペレータにタッチさせることによって関連情報を選択させて検索するようにしているので、キーワードを直接入力したりする従来技術に比べて、操作が簡単で誰にでも扱い易い情報検索表示システムが得られる。
【００２２】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００２３】
図１に示す実施例の情報検索表示システム１０は、たとえば２５０×１８０ｃｍ程度のサイズのプラスチックスクリーン１２を含む。ただし、このサイズは単なる一例であり、用途に応じて任意に変更可能である。プラスチックスクリーン１２は、赤外光透過可能材料、たとえばポリカーボネイトなどのプラスチックからなり、全体としてたとえば乳白色である。ただし、このプラスチックスクリーン１２は完全な透明ではない。なぜなら、このプラスチックスクリーン１２は、後述のプロジェクタ３０から映像を映写するための投影スクリーンとして機能する必要があるからである。つまり、このプラスチックスクリーン１２が表示装置の画面として機能し、後述のように、キーワード、アイコン、さらには検索した画像がこのスクリーン１２上に表示される。また、このプラスチックスクリーン１２は、比較的大きい剛性を有する。なぜなら、この実施例のシステム１０では、図１に示すように、プラスチックスクリーン１２の前方の人間１４が、自分の手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の位置（点または領域）を指示するからである。つまり、プラスチックスクリーン１２には人間の手が触っても容易には変形しない程度の剛性が必要である。
【００２４】
ただし、実施例ではプラスチックでスクリーン１２を形成した。しかしながら、ガラスや他の赤外光透過材料が用いられてもよい。
【００２５】
このプラスチックスクリーン１２の前方上方には、スクリーン１２の前面１２ａの全面に赤外光を投射するための赤外光源１８が設けられる。この赤外光源１８としては、ハロゲンランプまたはブラックライトなどが利用可能である。この赤外光源１８を設ける位置は基本的にはプラスチックスクリーン１２のサイズに依存して決定されるが、実施例のプラスチックスクリーン１２が上記サイズであれば、たとえば、赤外光源１８は、プラスチックスクリーン１２の前面１２ａから２００−４００ｃｍ離れた高さ２００−３００ｃｍの位置に配置される。これらの数値は単なる例示である。赤外光源１８から投射された赤外光はプラスチックスクリーン１２の前面１２ａから入射し、このスクリーン１２を透過して背面１２ｂに至る。
【００２６】
プラスチックスクリーン１２の後方には、ミラー２０が設けられる。このミラー２０はプラスチックスクリーン１２の背面１２ｂの全面を映出できる大きさにされかつその位置に配置される。実施例ではプラスチックスクリーン１２が前述のように２５０×１８０ｃｍであれば、ミラー２０はたとえば１５０×１１０ｃｍ程度の大きさにされ、プラスチックスクリーン１２の背面からたとえば２００ｃｍ後方に配置される。これらの数値も単なる例示である。
【００２７】
プラスチックスクリーン１２の後方には、このミラー２０の表面に合焦されたモノクロカメラ２２が設けられる。このモノクロカメラ２２には赤外フィルタ２４が装着される。したがって、このカメラ２２は全体としては、赤外カメラとして機能する。そのため、モノクロカメラ２２および赤外フィルタ２４は赤外カメラに代えられてもよい。このカメラ２２はミラー２０を通してプラスチックスクリーン１２の背面全面を撮影する。
【００２８】
この図１に示す実施例では、プラスチックスクリーン１２の後方に、プロジェクタ３０が設けられる。このプロジェクタ３０は、前述のようにプラスチックスクリーン１２の背面１２ｂの全面に映像（光学像）を投射するためのものである。実施例では、プロジェクタ３０は、ミラー２０を通して、背面１２ｂの全面に投影できるようにされる。プロジェクタ３０から投射された映像は、ミラー２０で反射されて、プラスチックスクリーン１２の背面１２ｂに投影される。したがって、このプラスチックスクリーン１２の前面１２ａから、その投影された映像を見ることができる。
【００２９】
なお、ミラー２０を用いる理由は、プラスチックスクリーン１２の後方のスペースを可及的小さくするためである。したがって、当然のことではあるが、ミラー２０を省略することができる。この場合には、上述のカメラ２２がプラスチックスクリーン１２の背面１２ｂの全域を直接撮影し、プロジェクタ３０からプロジェクタスクリーン１２の背面１２ｂに映像が直接投射される。
【００３０】
図２は図１実施例のブロック図であるが、この図２に示すように、カメラ２２からの映像信号は、Ａ／Ｄ変換器２８によって映像信号データに変換されて、コンピュータ２６に入力される。そして、コンピュータ２６にはたとえば半導体メモリやハードディスクなどの内部メモリ３２が内蔵されるとともに、必要に応じて、メモリインタフェース３４を介して、外部メモリ３６が接続される。内部メモリ３２は、後述のフロー図に示すようなプログラムを予め記憶するプログラムメモリとして、さらには画像処理のためのワーキングメモリやレジスタなどとして利用される。プロジェクタ３０を用いる場合には、内部メモリ３２はさらに、プロジェクタ３０のためのメモリのビデオメモリ（ＶＲＡＭ）としても用いられる。このプロジェクタ３０は、実施例の情報検索表示システム１０において、後述のようにキーワードを表示したり、アイコンを表示したり、さらには検索した画像を表示する。
【００３１】
なお、外部メモリ３６としては、半導体メモリ以外に、磁気記録媒体、光学式記録媒体、光磁気記録媒体などが用いられ得るが、ここでは便宜上すべて「メモリ」の用語を使用する。したがって、「メモリ」というときは、あらゆる形式の記憶媒体または記録媒体を指すものと理解されたい。
【００３２】
なお、コンピュータ２６は、さらに、ランプドライバ３８を介して、赤外光源１８のオン／オフを制御するとともに、必要な場合には、その赤外光源１８の輝度を調節する。
【００３３】
図１では図示しないが、実施例の情報検索表示システム１０は、図２に示すように、動画情報を取り込むためのビデオデッキ４４と、このビデオデッキ４４で再生した動画をコンピュータ２６に取り込むためのインタフェース４６とを含む。ビデオデッキ４４としては、ビデオテープを再生できるテープデッキ、ＣＤやＤＶＤあるいはブルーレイディスクなどの光ディスクを再生できるディスクドライブなどが利用される。さらに、静止画を取り込むために、スキャナ４４と、そのスキャナ４４をコンピュータ２６にインタフェースするスキャナインタフェース４２とをさらに含む。同様に、音声情報を蓄積するためにマイク４８が用いられ、このマイク４８に入力された音声信号はＡ／Ｄ変換器５０を介してコンピュータ２６に取り込まれる。
【００３４】
図１には図示しないが、情報検索表示システム１０には、図２に示すように、コンピュータ２６からの出力音声データを受けるＤ／Ａ変換器５２が設けられ、このＤ／Ａ変換器５２からの音声信号がスピーカ５４から出力される。したがって、このスピーカ５４は、実施例の情報検索表示システム１０において、検索した音声情報を表示または出力するために利用される。
【００３５】
図１実施例のシステム１０では、先に概説したように、プラスチックスクリーン１２の前方の人間１４が、手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の座標位置を指示するが、そのための動作を、図３のフロー図を参照して説明する。
【００３６】
図３の最初のステップＳ１では、初期設定が実行される。この初期設定では、まず、コンピュータ２６は、ランプドライバ３８を制御して、赤外光源１８をオンする。そして、さらに内部メモリ３２内の各変数がそれらの初期値として設定される。たとえば、モノクロカメラ２２からの映像信号を閾値処理するための閾値（Ｔ：後述）の初期値を、内部メモリ３２の適宜のレジスタ（閾値レジスタ）に設定する。さらに、カメラ２２のホワイトバランスが調整される。つまり、このカメラ２２で撮影したプラスチックスクリーン１２を通った赤外光で作る像が白またはそれに近い色（実質的に白）になるようにチューニングされる。
【００３７】
続くステップＳ３では、コンピュータ２６は、プラスチックスクリーン１２の前方に人間が存在しない状態、すなわち無人状態で、カメラ２２からの映像信号データを取り込んで、背景データ（ＢＧ）を作成する。このステップＳ３で作成した背景データ（ＢＧ）は、システム１０を設置している会場での赤外光などに対する障害物の影響を除去するために利用される。
【００３８】
続いて、ステップＳ５では、プラスチックスクリーン１２の前に人間が立って、その手１６で、図１に示すようにプラスチックスクリーン１２の前面１２ａの任意の場所を押さえ（タッチし）、その状態で、コンピュータ２６は、カメラ２２からの映像信号データすなわちピクセルデータ（Ｖ）を取り込む。実施例では、プラスチックスクリーン１２の全面はたとえば６４０×４８０ピクセルの解像度で表され、ピクセルデータ（映像）は２５６階調（８ビット／１ピクセル）で与えられる。このステップＳ５では、たとえば図５に示すようなピクセルデータが得られる。この図５に示す例では、スクリーン１２上にその前方の人間が手を押し付けたときの映像のピクセルデータが得られる。
【００３９】
次のステップＳ７では、マスク処理を実行する。具体的には、マスクデータ（Ｍ）とピクセルデータ（Ｖ）とを論理積（ＡＮＤ）処理する。なお、マスクデータ（Ｍ）とは、図４に示すフロー図に従って作られたノイズ除去用のデータである。
【００４０】
すなわち、図４のステップＳ１３１で、赤外光源１８をオンし、続くステップＳ１３３で、コンピュータ２６は、ステップＳ３と同様に、無人状態でピクセルデータを取り込む。そして、次のステップＳ１３５で適宜の閾値で閾値処理し、ステップＳ１３７でさらに反転することによって、図６に示すようなマスクが生成される。そして、このマスクデータ（Ｍ）は、コンピュータ２６の内部メモリ３２（図２）に登録される。
【００４１】
詳しくいうと、無人状態で撮影したとき、そのピクセルデータは、図５の映像から人間による影（赤外光を遮光している遮光領域）を取った映像となる。図５の映像から人間の影を除去すると、赤外光源１８の赤外光の丸い広がりに対してスクリーン１２が矩形であることに起因して、スクリーン１２の４隅にそれぞれ３角形状の薄い影ができている。この４隅の影は、それぞれが薄いときには殆ど影響しないが、濃くなると人間がスクリーン１２上でポインティングすることによってできた遮光領域と区別できなくなる。そこで、実施例では、このスクリーン１２の４隅を判別の対象領域としないように、図６に示すようなマスクを作成する。
【００４２】
そして、このマスクのマスクデータ（Ｍ）とピクセルデータ（Ｖ）とをＡＮＤ処理することによって、４隅にできた影の影響を完全になくすことができる。
【００４３】
なお、このようなマスクデータ（Ｍ）は、図３のような処理の実行に先立って予め図４の処理を実行することによって、内部メモリ３２に予め登録しておくようにすればよい。その都度マスクを作る面倒がなくなる。
【００４４】
図３に戻って、次のステップＳ９では、ステップＳ３で取得した背景データ（ＢＧ）を、ステップＳ７を実行した後のデータ（Ｖ・Ｍ）から減算する。このステップＳ９は赤外光の障害物の影響を除去するために実行する。したがって、上述のように無人状態での影の影響を除去できるマスクを作成すれば、ステップＳ９を実行する必要はない。その意味では、ステップＳ９はオプションである。ただし、このステップＳ９を実行するのであれば、ステップＳ７におけるマスク処理がオプションとなる。換言すれば、ステップＳ７およびステップＳ９は択一的に実行されてもよい。
【００４５】
次にステップＳ１１では、これもオプションであるが、ガウス分布に従ったぼかし処理を実行する｛ＢＧ（Ｖ・Ｍ−ＢＧ）｝。これは、フレーム毎のノイズを除去するためである。
【００４６】
そして、ステップＳ１３において、ステップＳ１の初期設定で決めた閾値を用いて、閾値処理を実行する［Ｔ｛ＢＧ（Ｖ・Ｍ−ＢＧ）｝］。このステップＳ１３を実行することによって、各ピクセルデータが２値化（「１」または「０」）される。たとえば、輝度レベルが「１０１」以上のピクセルを「１」（白）とし、「１００」以下のピクセルを「０」（黒）とする。
【００４７】
その後、ステップＳ１５で黒領域を抽出する。この黒領域を抽出する手法は任意の方法が考えられるが、実施例では、たとえば、Paul S. Heckbertによって提案された「A SEED FILL ALGORITHM」(PP275-277, GRAPHICS GEMS I '90)を利用する。この手法は、黒ピクセルが検出されなくなるまで隣接する黒ピクセルを順次たどって黒領域を検出する方法である。このステップＳ１５で、全ての黒領域を抽出する。このとき、各黒領域は、スクリーン１２の右上隅を座標０，０として、（ｘｍｉｎ，ｘｍａｘ），（ｙｍｉｎ，ｙｍａｘ）で示す矩形領域として抽出される。ただし、ｘｍｉｎは横軸（Ｘ軸）の最小値、ｘｍａｘはＸ軸の最大値、ｙｍｉｎは縦軸（Ｙ軸）の最小値、ｙｍａｘはＹ軸の最大値を示している。
【００４８】
次のステップＳ１７で、コンピュータ２６は、各黒領域の中心座標と面積とを計算する。具体的には、各黒領域の中心座標は数１で、面積は数２でそれぞれ計算できる。
【００４９】
【数１】
2005032023.tif 000003
【００５０】
【数２】
2005032023.tif 000004
そして、続くステップＳ１９で、各中心座標および面積を正規化する。中心座標や面積をスクリーンサイズや各方向のピクセル数に依存させないためである。実施例では、スクリーンサイズは横（Ｘ）６４０ピクセル、縦（Ｙ）４８０ピクセルであるので、正規化中心座標ｎｃｘ，ｎｃｙは数３で与えられる。
【００５１】
【数３】
2005032023.tif 000005
ただし、ε［０，１］は「０」と「１」との間で正規化することを意味する。
【００５２】
また、面積の正規化は次の数４の手法による。
【００５３】
【数４】
2005032023.tif 000006
そして、ステップＳ２１において、ノイズを除去したり、スクリーン１２の前方の人間１４が近づきすぎた場合などを無効にするために、過大過小の黒領域を無効にする（捨てる）。具体的には、可能最小面積をＭＩＮとし、可能最大面積をＭＡＸとし、ＭＩＮ≦面積≦ＭＡＸ以外の黒領域は捨てて、たとえば図７に示す適正なサイズの黒領域のデータのみを残す。この図７は、図５に示す人間の手の部分だけが適正黒領域として検出されたことを示している。
【００５４】
なお、ステップＳ２１は、手作業で実行してもよい。
【００５５】
そして、最後に、ステップＳ２３で残った適正黒領域（図７）の中心座標および面積をタッチ点（または領域）のデータとして、出力する。
【００５６】
なお、図１では１人の人間だけがプラスチックスクリーンの前方に存在するように図示したが、２人以上の人間が同時にタッチしても全てのタッチ位置を個別に同定することができる。
【００５７】
この図１実施例の情報検索システム１０は、上述のような大画面表示装置においてその画面上のタッチ位置が計測または特定できることを利用して、たとえば結婚披露宴などのセレモニー会場において予め蓄積しておいた画像情報や音声情報を表示しまたは出力するためのシステムである。ただし、情報検索表示システムとしては、図１実施例のような大画面タッチパネルを用いる必要はなく、他の表示装置たとえば比較的大画面のプロジェクションディイスプレイ、プラズマディスプレイなどが利用可能である。
【００５８】
図８は図１実施例において画像情報や音声情報を予め蓄積するための動作を示すフロー図である。図１の情報検索表示システム１０においては、まず、スキャナ４０やマイク４４（ともに図２）を用いて画像情報や音声情報を蓄積する必要がある。したがって、図８の最初のステップＳ３１では、図９（Ａ）に例示する情報提供者タグを設定する。情報提供者とは、蓄積する情報を持ち寄ってくれる者であり、たとえば結婚披露宴用のシステムであれば、情報提供者は、本人、友人、家族、親戚、同僚などが考えられる。そして、このような情報提供者毎に、たとえば音読名＋数字からなる情報提供者タグを設定する。ただし、数字は同姓同名者を区別するのに意味がある。
【００５９】
続くステップＳ３３では、図９（Ｂ）に例示するキーワードを入力する。このステップＳ３３では、システムに予め設定しておいたシステム標準例をいわゆるプルダウンメニュー方式で選択することによってキーワードを設定する方法、コンピュータ２６に音声認識機能を設けてマイク４８からの音声入力を音声認識してキーワードを入力する方法、あるいはキーボード（図示せず）を用いて直接手入力する方法等が考えられる。このステップＳ３３で入力されたキーワードは、次のステップＳ３５において、ＯＫかどうか判断される。コンピュータ２６は、このステップＳ３５で、たとえば、キーワードが認識できたか、新しく入力されたキーワードが前に入力されたキーワードと重複していないか、使用禁止のキーワードではないか、などを判断する。ただし、このステップＳ３５の判断は、システム１０のオペレータが行うようにしてもよい。
【００６０】
ステップＳ３５で“ＹＥＳ”が判断されると、つまり、ステップＳ３３で入力したキーワードがＯＫであると、次のステップＳ３７において、コンピュータ２６は、入力された情報の種類を判定する。具体的には、ビデオインタフェース４６やスキャナインタフェース４２を介してコンピュータ２６に入力された画像データの拡張子、およびＡ／Ｄ変換器５０から入力された音声データの拡張子を判別することによって、コンピュータ２６はそのとき入力された情報の種類を検出することができる。
【００６１】
そして、ステップＳ３７では、まず、情報が静止画かどうか判断される。画像データの拡張子が静止画のものであるとき、ステップＳ３７で“ＹＥＳ”が判断され、コンピュータ２６は次のステップＳ３９を実行する。ステップＳ３９では、コンピュータ２６は、静止画像の縮小画像またはサムネイル画像を作成することによって、自動的に、その静止画を識別するための識別情報としてのアイコンを生成する。そして、ステップＳ４１で、図９（Ａ）に例示するヘッダを付けて保存する。ただし、保存するメモリとしては、図２に示す内部メモリ３２が利用される。しかしながら、同じく図２に示す外部メモリ３６に蓄積することもできる。
【００６２】
ステップＳ４１の後に、コンピュータ２６はステップＳ４３で残情報があるかどうか判断し、なければ情報の取り込みまたは蓄積処理を終了する。しかしながら、残情報があれば、先のステップＳ３５に戻る。
【００６３】
そして、ステップＳ３７で“ＮＯ”が判断されたとき、すなわち情報が静止画ではなかったとき、ステップＳ４５において、コンピュータ２６は、入力データの拡張子が動画像のものであるかどうか、つまり、入力画像データが動画像かどうか判断する。
ステップＳ４５で“ＹＥＳ”が判断されると、コンピュータ２６は、その動画像の識別情報となるアイコン案（候補）を生成する。一例として、そのようなアイコン候補としては、動画像の時間軸の開始点、中間点、および終了点における静止画像またはそれの縮小画像が考えられる。ただし、中間点も１つだけでなく２以上の中間点を設定することも考えられる。さらには、動画像におけるイベント変化点を検出することによって、その変化点における静止画またはそれの縮小画像を識別情報（アイコン）候補として生成するようにしてもよい。イベント変化点は、たとえば色彩や明度あるいは輝度の劇的な変化点であったり、動きベクトルの急激な変化点として検出できる。そして、ステップＳ４９で、オペレータはコンピュータ２６が提示したアイコン案を選択する。応じて、ステップＳ４１において、動画像がヘッダとともにメモリ３２または３６に保存される。
ステップＳ４５で“ＮＯ”が判断されると、残る情報の種類は音声だけであり、続くステップＳ５１において、コンピュータ２６は、音声用アイコンを例示する。たとえば、年代別や出来事別で、先のキーワードをヒントに音声用アイコンを作成してもよい。そして、ステップＳ５３でその提示された音声用アイコンを選択する。応じて、ステップＳ４１において、音声データがヘッダとともにメモリ３２または３６に保存される。
【００６４】
なお、ステップＳ３７やステップＳ４５では、データの拡張子を参照してデータが静止画か動画かあるいは音声かなどを判別した。しかしながら、拡張子を参照しなくてもデータの種類は判別できる。たとえば、コンピュータ２６はすべのアプリケーションを動員して入力データを一旦開いてみて、データを開くことができたとき、データを開いたアプリケーションが何であったかによって、データの種類を特定するようにしてもよい。
【００６５】
このようにして、図８の動作および操作を実行することによって、ビデオデッキ４４、スキャナ４４、またはマイク４８から入力された動画像、静止画または音声情報が、キーワード毎に分類され、ヘッダとともにメモリ３２および／または３６に保存または蓄積される。つまり、入力された画像情報や音声情報は、図９（Ａ）に示すように、キーワード毎に分類され、そのキーワードに関連する関連情報として蓄積される。そして、そのような関連情報を識別するためのアイコン（識別情報）が、その関連情報毎に、付加されて保存または蓄積される。
【００６６】
図９（Ａ）の例では、キーワード１〜キーワードＮまでＮ個のキーワードが設定され、キーワード１には映像１，…映像１ｎがそれに対応するアイコン１，…アイコンｎとともに蓄積される。映像１，…映像１ｎはたとえば静止画であり、それぞれ１つのアイコンだけが設定付加されている。キーワードＮには映像Ｎ（多分、動画）が蓄積され、その映像Ｎを識別するために３つのアイコンＮ１，Ｎ２，Ｎ３が付加されている。図９（Ａ）では音声情報は特に図示しなかったが、音声情報も映像情報と同様にキーワードおよびアイコンに関連して蓄積される。
【００６７】
このように蓄積した関連情報を検索して表示するための操作または動作が図１０および図１１に図示される。図１０の最初のステップＳ６１では、コンピュータ２６は、イベントとしての音声入力があったかどうか判断する。つまり、ステップＳ６１で音声入力が検出されると、コンピュータ２６は次のステップＳ６３に進む。ただし、このステップＳ６１はその以降のステップと並列処理され、以降のステップまたはプロセスを実行していても、常に、音声入力の有無は判断されるものとする。なぜなら、いつでも音声入力を処理できなければならないからである。同様にこの図１０および図１１で「以下のプロセスと並列処理」と表示される各ステップＳ６７およびＳ８７も、このステップＳ６１と同じく、常時実行されるものであることを予め理解されたい。
そして、ステップＳ６１で音声入力が検出されると、ステップＳ６３でコンピュータ２６は音声認識機能を利用して、マイク４８によって入力されたキーワードを認識する。そして、コンピュータ２６は、その音声認識結果に基づいて、認識したキーワードを示す文字をプロジェクタ３０によってプラスチックスクリーン１２上に映写させる。具体的には、スクロール表示技術を利用して、そのキーワード（の文字）がプラスチックスクリーン１２の画面の下部から出現し、上方にゆっくり移動するように表示する。ただし、具体的な表示形態はこれに限らず任意である。しかしながら、どのような表示形態であっても、人間がその表示したキーワード（文字）に画面（プラスチックスクリーン１２）上でタッチできる速さでの移動でなければならない。
【００６８】
そして、次のステップＳ６７で、コンピュータ２６は、人間の手が、移動表示されているキーワード（文字）にタッチしたかどうか判断する。つまり、先に図３を参照して説明したように、実施例のシステムでは、プラスチックスクリーン１２上で人間の手がタッチした任意の場所を座標データとして特定することができる（図３のステップＳ２３）のであり、このステップＳ６７では、ステップＳ２３で得た座標データが、ステップＳ６５でキーワードを表示しているプラスチックスクリーン１２上の領域に含まれる座標の座標データかどうか判断することによって、ステップＳ６７で、コンピュータ２６は表示中のキーワードに人間の手がタッチしたかどうか判別することができる。このステップＳ６７も他のプロセスと並列処理され、常時実行されている。
【００６９】
ステップＳ６７で“ＹＥＳ”が判断されると、次のステップＳ６９で、コンピュータ２６は、キーワードにタッチしている手が動いたかどうか、ステップＳ２３（図３）で得られる座標データを参照することによって、判断する。キーワードを指示した手が動いたとすると、ステップＳ７１では、その手の動きに従ってキーワードを移動表示する。つまり、手の動きすなわち座標データのフレーム（フィールド）毎の変化分を計測し、その変化分に従ってキーワードを移動（スクロール）表示すればよい。
【００７０】
そして、ステップＳ６９で手の動きが停止したことを検出すると、すなわちステップＳ６９で“ＮＯ”が判断されると、続くステップＳ７３で、コンピュータ２６はキーワードをその手の位置に停止表示する。続くステップＳ７５では、コンピュータ２６は、タッチしているキーワードすなわち手の位置で停止表示されているキーワードが、他のキーワードと重なっているかどうか判断する。つまり、その時タッチしているキーワードの表示領域と、他のキーワードの表示領域とが重なっているかどうか判断する。キーワードが重なっている場合には、次のステップＳ７７で、キーワードの絞込みを行う。たとえば、先のキーワードが「修学旅行」であり、現在タッチしているキーワードが「中学生」であった場合、キーワードとしては、「中学生の修学旅行」ということになる。つまり、重なったキーワードのＡＮＤ処理をすることによって、キーワードの絞込みが行われ得る。ただし、３つ以上のキーワードのＡＮＤで絞り込むことも可能である。
【００７１】
他のキーワードとの重なりがなければ、そのときタッチしているキーワードが、またキーワードが重なっている場合には、ステップＳ７７で絞り込まれたキーワードが、それぞれステップＳ７９（図１１）でキーワードとして決定される。
【００７２】
ステップＳ７９でキーワードが決定すると、次のステップＳ８１で、コンピュータ２６は、その決定したキーワードに関連する情報（関連情報）をメモリ３２および／または３６から検索し、それらの関連情報の表示順（出力順）を決定する。
【００７３】
その後ステップＳ８３で、コンピュータ２６は、検索した関連情報のそれぞれを識別するためのアイコン（識別情報）をメモリ３２および／または３６から読出し、たとえば、一例として、そのアイコンをプラスチックスクリーン１２の画面上で、タッチしているキーワードを起点として、放射状に湧き出しては周辺に拡散することを繰り返す無限循環的な表示態様で、プロジェクタ３０によって表示させる。このように無限循環表示をすることによって、或るアイコンを見逃しても次の表示タイミングで選択することができる。ただし、アイコンが湧き出す順序はステップＳ８１で決定した表示順に従うものとする。なお、アイコンの上記した表示態様は単なる一例であり、他の表示形態が任意に採用できることはいうまでもない。
【００７４】
その後ステップＳ８５で、コンピュータ２６はキーワードへのタッチが持続しているかどうか判断するとともに、ステップＳ８７でアイコンへの手のタッチがあったかどうか判断する。つまり、ステップＳ８５とＳ８７とを並列処理する。そして、ステップＳ８５で“ＹＥＳ”が判断されるとステップＳ７９に戻り、ステップＳ８７で“ＹＥＳ”が判断されると、ステップＳ８９に進む。
【００７５】
ステップＳ８９では、コンピュータ２６は、アイコンにタッチした手の動きが掃出し動作のものであるかどうか判断する。「掃出し動作」とは図１２に示すプラスチックスクリーン１２の表示領域１２Ａの外（周辺）へ向かって手を素早く動かす動作であり、短時間のドラッグの繰り返しである。このステップＳ８９で“ＹＥＳ”が判断されると、コンピュータ２６は、ステップＳ９１でタッチされているアイコンを、拡散速度を加速して掃出す（周辺に追い出す）。このような掃出し動作は、掃出されるアイコンで識別できる関連情報（画像または音声情報）を表示する必要がないときに行われる。
【００７６】
次にステップＳ８９で“ＮＯ”なら、コンピュータ２６は、ステップＳ９３で、アイコンにタッチしている手を引き寄せたかどうか判断する。つまり、ステップＳ９３では、コンピュータ２６は、アイコンにタッチしている手がアイコンを、図１２に示すスクリーン１２の右側に設定された保存エリア１２Ｂにドラッグしたかどうか判断する。ステップＳ９３で“ＹＥＳ”なら、次のステップＳ９５で、そのときタッチしているアイコンを保存エリアに移動（ドラッグ）させる。この保存エリア１２Ｂにドラッグされたアイコンで識別できる関連情報は、ブックマークに予約されたようなもので、その保存アイコンにタッチすればいつでも表示（再生または出力）が可能である。
【００７７】
ステップＳ９３で“ＮＯ”なら、アイコンにタッチしている手がアイコンを押さえつけたことを意味する。つまり、アイコンにタッチしている手が停止したことを意味する。したがって、コンピュータ２６は、ステップＳ９７で、その押さえつけられたアイコンで識別される関連情報が画像かどうか判断する。
【００７８】
“ＹＥＳ”なら、次のステップＳ９９で、その画像または映像を再生する。具体的には、そのアイコンで示す映像または画像データで図示しないＶＲＡＭを上書きすることによって、映像（動画または静止画）を表示する。ただし、このとき、図１２に示す表示エリア１２Ａ内だけで表示する。つまり、関連情報すなわち元の蓄積情報を表示する場合には、プラスチックスクリーン１２のフルスクリーンにではなく、フルスクリーンの１／３〜１／４の表示領域１２Ａを設定し、その中だけで表示することとした。表示領域１２Ａと保存領域１２Ｂとを除いた別の表示領域１２Ｃでさらに別のキーワードやアイコンを表示して次の情報検索表示を続行させるためである。ただし、このような表示形態もまた任意に変更可能であり、画像情報をフルスクリーンで表示し、その画像情報に重畳してキーワードやアイコンを、選択（タッチ）のために表示するようにしてもよい。
【００７９】
なお、ステップＳ９７で関連情報が画像または映像ではないと判断したときには、コンピュータ２６はステップＳ１０１でその音声データをスピーカ５４から再生させる。そして、その音声データの再生の終了をステップＳ１０３で検出したとき、次の音声データがあるかどうか判断し（ステップＳ１０５）、あれば再びステップＳ１０１で再生する。つまり、音声データの場合には、映像とは異なり、重複的な再生が行われると全く聞き取れないことがあるので、１つの音声データが終了してはじめて次の音声データの再生を行うようにし、重なりを回避するようにしている。
【００８０】
なお、上述の実施例では結婚披露宴を演出するのに好適するものとして説明したが、この発明の情報検索表示システムの用途はこれに限らず、たとえば葬儀会場での演出に利用されることも考えられ得る。さらには他の任意の用途に適合できる。
【図面の簡単な説明】
【００８１】
【図１】図１はこの発明の実施例の情報検索表示システムを示す図解図である。
【図２】図２は図１実施例のブロック図である。
【図３】図３は図１実施例においてプラスチックスクリーンへのタッチを検出する動作の一例を示すフロー図である。
【図４】図４は図１実施例においてマスクを作成する動作の一例を示すフロー図である。
【図５】図５は図１実施例においてプラスチックスクリーンの前方の人間が手でスクリーンにタッチしたときの実際の映像を示す。
【図６】図６は図１実施例において用いられるマスク画像の一例を示す図解図である。
【図７】図７はスクリーンにタッチした手によって作られた黒領域の一例を示す図解図である。
【図８】図８は図１実施例において画像情報や音声情報を予め蓄積するための動作を示すフロー図である。
【図９】図９は蓄積動作における情報提供者タグや各種ヘッダ、キーワード、さらにはキーワードに関連して蓄積される情報とアイコンとを例示する図解図である。
【図１０】図１０は図１実施例において情報を検索し表示する動作の一例を示すフロー図である。
【図１１】図１１は図１０に続く情報検索表示動作を示すフロー図である。
【図１２】図１２はプラスチックスクリーン上の表示領域や保存領域を示す図解図である。
【符号の説明】
【００８２】
１０  …情報検索表示システム
１２  …プラスチックスクリーン
１４  …人間
１６  …手
１８  …赤外光源
２０  …ミラー
２２  …モノクロカメラ
２４  …赤外フィルタ
２６  …コンピュータ
３０  …プロジェクタ
３２  …内部メモリ
３６  …外部メモリ
４０  …スキャナ
４４  …ビデオデッキ
４８  …マイク
５４  …スピーカ
【図１】
2005032023.tif 000007
【図２】
2005032023.tif 000008
【図３】
2005032023.tif 000009
【図４】
2005032023.tif 000010
【図５】
2005032023.tif 000011
【図６】
2005032023.tif 000012
【図７】
2005032023.tif 000013
【図８】
2005032023.tif 000014
【図９】
2005032023.tif 000015
【図１０】
2005032023.tif 000016
【図１１】
2005032023.tif 000017
【図１２】
2005032023.tif 000018