(57)【要約】【課題】複数のセンサ情報を同期させることで、１のセンサ情報を利用して所望のデータの検索を行うことができるデータ検索装置及びデータ検索方法並びにデータ検索プログラムを提供する。【解決手段】センサ１−Ａ〜１−Ｃが、異なる種類の環境値を入力すると、変換器２−Ａ〜２−Ｃが、この環境値を同一の特微量に変換し、合成器３が、これらの特微量を同期付けてデータベース４に書き込む。センサ１−Ａに入力される環境値の認識を行うマッチング器が、センサ１−Ａに対応する環境値から抽出される特徴量であって、データベース４が記憶する特微量と、変換器２−Ａが出力する特微量とを比較し、特徴量が一致するデータの検索を行い、検索結果を出力する。【選択図】  図１
2004272358.tif 000002
【特許請求の範囲】
【請求項１】
異なる種類の環境値を入力する第１から第ｎ（ｎは２以上の自然数）のセンサと、
該第１から第ｎのセンサとそれぞれ対応して設けられ、該対応するセンサが出力する環境値を同一の特微量に変換する第１から第ｎの変換器と、
該第１から第ｎの変換器が出力する特微量を同期付けて所定のデータベースに書き込む合成器と、
前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、前記変換器が出力する特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力するマッチング器と
を具備することを特徴とするデータ検索装置。
【請求項２】
異なる種類の環境値を入力する第１から第ｎ（ｎは２以上の自然数）のセンサと、
該第１から第ｎのセンサとそれぞれ対応して設けられ、該対応するセンサが出力する環境値を同一の特微量に変換する第１から第ｎの変換器と、
該第１から第ｎの変換器が出力する特微量を同期付けて所定のデータベースに書き込む合成器と
を具備することを特徴とするデータ関連付け装置。
【請求項３】
異なる種類の環境値から抽出された特微量であって、同期付けられた特微量を記憶するデータベースと、
該環境値を入力するセンサと、
該センサが出力する環境値を、前記データベースが記憶する特微量と同一の特微量に変換する変換器と、
前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、該変換器が出力する特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力するマッチング器と
を具備することを特徴とするデータ復元装置。
【請求項４】
前記マッチング器は、検索結果として、前記センサに対応する環境値と異なる環境値を出力する
ことを特徴とする請求項４に記載のデータ復元装置。
【請求項５】
異なる種類の環境値を入力する第１から第ｎ（ｎは２以上の自然数）のセンサと、
該第１から第ｎのセンサとそれぞれ対応して設けられ、該対応するセンサが出力する環境値を同一の特微量に変換する第１から第ｎの変換器と、
該第１から第ｎの変換器が出力する特微量と、前記第１から第ｎのセンサの出力値とを同期付けて、所定のデータベースに書き込む関連付け器と
を具備することを特徴とするデータ関連付け装置。
【請求項６】
異なる種類の環境値と、該異なる種類の環境値から抽出された特微量とを同期付けて記憶するデータベースと、
該環境値を入力するセンサと、
該センサが出力する環境値を、前記データベースが記憶する特微量と同一の特微量に変換する変換器と、
前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、該変換器が出力する特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力するマッチング器と
を具備することを特徴とするデータ復元装置。
【請求項７】
第１から第ｎ（ｎは２以上の自然数）のセンサが、異なる種類の環境値を入力すると、
該第１から第ｎのセンサとそれぞれ対応して設けられる第１から第ｎの変換器が、該対応するセンサが出力する環境値を同一の特微量に変換し、
該第１から第ｎの変換器が出力する特徴量を合成する合成器が、該第１から第ｎの変換器が出力する特微量を同期付けて所定のデータベースに書き込み、
前記センサに入力される環境値の認識を行うマッチング器が、前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、前記変換器が出力する特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力する
ことを特徴とするデータ検索方法。
【請求項８】
第１から第ｎ（ｎは２以上の自然数）のセンサが、異なる種類の環境値を入力すると、該第１から第ｎのセンサの出力値を同一の特微量に変換する処理と、
該変換した同一の特微量をそれぞれ同期付けて所定のデータベースに書き込む処理と、
前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、前記センサに入力され、同一に変換された特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力する処理と
をコンピュータに実行させるためのデータ検索プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、主に、ロボット等の実装される統合パターン認識装置におけるデータ検索技術に関するものであり、具体的には、複数のセンサから取り込まれた情報を統合し、この統合パターンに基づくパターン認識を行うデータ検索装置及びデータ検索方法並びにデータ検索プログラムに関する。
【０００２】
【従来の技術】
画像と音声とを同期して記録した画像データから必要なデータを取り出す画像検索技術として、従来、予め画像データに整理番号やキーワードを付加し、これを検索キーとして検索を行うもの、画像データの特徴パターンを抽出し、マッチングを行うことで、検索キーとして利用するものが存在する。
また、特許文献１には、これに関連する技術として、画像に同期した音声データから特徴を表すような周波数パターンを検索キーとして利用するものが開示されている。
また、特許文献２には、音声データを符号化し、画像変換することで、視覚的に編集作業を可能とする技術が開示されている。
また、特許文献３には、ＦＡＸ送受信システムにおいて、送信する画像情報と共に画像情報化した音声データを付加することにより、受信側で双方のデータを受け取ることが出来る技術が開示されている。
【０００３】
【特許文献１】
特開平７−１０５２３５
【特許文献２】
特開平６−１９５０９５
【特許文献３】
特開２００２−１５８８２１
【非特許文献１】
渡辺正峰、合原幸、近藤駿介  「カオスニューラルネツトワークによる自動学習」  電子情報通信学会論文誌Ａ  ｖｏ１．Ｊ７８・Ａ  Ｎｏ６  ｐｐ．６８６・６９１  １９９５
【０００４】
【発明が解決しようとする課題】
しかし、これらのシステムでは、例えば、画像にキーワードを予め付加する必要があり、このデータ作成に伴う処理負荷が大きいこと、画像特徴パターンと、音声を元にした周波数パターンという２種類の異なる検索用モジュールが必要であること等の問題点がある。
【０００５】
一方で、今後開発が期待されているロボット分野では、ロボットの記憶装置として視覚や聴覚としての画像と音声データだけでなく、触覚や嗅覚としての圧力センサ情報や匂いセンサ情報、腕や車輪などからの各種センサ情報など同期させておくベき情報が多数存在することが考えられる。これにより、ロボットはある状況下でいくつかのセンサ入力パターンから過去の行動記憶として、前述した全ての情報を同期させたデータベースから他の入力パターンを引き出したいという要求が生まれると想像出来る。
【０００６】
これらの情報を従来の方法で行おうとすると、各センサに対して特徴パターンを抽出し、この特徴パターンを検索キーとして登録しておくことが必要となる。
また、同時に、全てのセンサに対し、特徴パターンを抽出する方法が必要となる。図１３、図１４に、この場合における、データ関連付け装置及びデータ復元装置の構成を示す。例えば、図１３に示すように、関連付け装置は、センサ１−Ａ〜１−Ｃ、特徴抽出器２１−Ａ〜２１−Ｃ、ＤＢ（＝データベース）・２４−Ａ〜２４−Ｃ、関連付け器１６とから構成される。
この場合、データ登録時においては、センサ１−Ａ〜１−Ｃへの入力に対し、それと同数の特徴抽出器２２−Ａ〜２２−Ｃが必要となり、データ検索時においても、やはりセンサ１−Ａ〜１−Ｃへの入力に対し、それと同数のマッチング器２０−Ａ〜２０−Ｃがそれぞれ必要となる。このため、関連付け装置の開発コストが、センサの数に比例して増大してしまうという問題点がある。
また、関連付け器１６についても、特徴抽出器２２−Ａ〜２２−Ｃと対応するそれぞれのＤＢ２４−Ａ〜２４−Ｃを連携させることが必要となるが、ＤＢ２４−Ａ〜２４−Ｃのデータ構造が異なると、関連付け処理の複雑化を招き、データベースの開発コスト以外にも、データベース保守・管理にかかるコストが増大してしまうという問題点がある。
関連付け装置におけるこの問題は、データ復元装置においても全く同様であり、図１４に示すように、異なる種類のセンサ１−Ａ〜１−Ｃからの入力を処理する場合、それぞれ入力に適したマッチング器２０−Ａ〜２０−Ｃを用意しなければならず、処理負荷・開発コストの増大という問題点がある。
【０００７】
本発明は、このような事情を考慮してなされたものであり、その目的は、複数のセンサ情報を同期させ、かつ、同一の特徴量に変換することで、１のセンサ情報を利用して所望のデータの検索を行うことができるデータ検索装置及びデータ検索方法並びにデータ検索プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
この発明は上記の課題を解決すべくなされたもので、本発明のデータ検索装置は、異なる種類の環境値を入力する第１から第ｎ（ｎは２以上の自然数）のセンサと、該第１から第ｎのセンサとそれぞれ対応して設けられ、該対応するセンサが出力する環境値を同一の特微量に変換する第１から第ｎの変換器と、該第１から第ｎの変換器が出力する特微量を同期付けて所定のデータベースに書き込む合成器と、前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、前記変換器が出力する特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力するマッチング器とを具備することを特徴とする。
【０００９】
また、本発明のデータ関連付け装置は、異なる種類の環境値を入力する第１から第ｎ（ｎは２以上の自然数）のセンサと、該第１から第ｎのセンサとそれぞれ対応して設けられ、該対応するセンサが出力する環境値を同一の特微量に変換する第１から第ｎの変換器と、該第１から第ｎの変換器が出力する特微量を同期付けて所定のデータベースに書き込む合成器とを具備することを特徴とする。
【００１０】
また、本発明のデータ復元装置は、異なる種類の環境値から抽出された特微量であって、同期付けられた特微量を記憶するデータベースと、該環境値を入力するセンサと、該センサが出力する環境値を、前記データベースが記憶する特微量と同一の特微量に変換する変換器と、前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、該変換器が出力する特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力するマッチング器とを具備することを特徴とする。
【００１１】
また、本発明のデータ復元装置は、前記マッチング器は、検索結果として、前記センサに対応する環境値と異なる環境値を出力することを特徴とする。
【００１２】
また、本発明のデータ関連付け装置は、異なる種類の環境値を入力する第１から第ｎ（ｎは２以上の自然数）のセンサと、該第１から第ｎのセンサとそれぞれ対応して設けられ、該対応するセンサが出力する環境値を同一の特微量に変換する第１から第ｎの変換器と、該第１から第ｎの変換器が出力する特微量と、前記第１から第ｎのセンサの出力値とを同期付けて、所定のデータベースに書き込む関連付け器とを具備することを特徴とする。
【００１３】
また、本発明のデータ復元装置は、異なる種類の環境値と、該異なる種類の環境値から抽出された特微量とを同期付けて記憶するデータベースと、該環境値を入力するセンサと、該センサが出力する環境値を、前記データベースが記憶する特微量と同一の特微量に変換する変換器と、前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、該変換器が出力する特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力するマッチング器とを具備することを特徴とする。
【００１４】
また、本発明のデータ検索方法は、第１から第ｎ（ｎは２以上の自然数）のセンサが、異なる種類の環境値を入力すると、該第１から第ｎのセンサとそれぞれ対応して設けられる第１から第ｎの変換器が、該対応するセンサが出力する環境値を同一の特微量に変換し、該第１から第ｎの変換器が出力する特徴量を合成する合成器が、該第１から第ｎの変換器が出力する特微量を同期付けて所定のデータベースに書き込み、前記センサに入力される環境値の認識を行うマッチング器が、前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、前記変換器が出力する特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力することを特徴とする。
【００１５】
また、本発明のデータ検索プログラムは、第１から第ｎ（ｎは２以上の自然数）のセンサが、異なる種類の環境値を入力すると、該第１から第ｎのセンサの出力値を同一の特微量に変換する処理と、該変換した同一の特微量をそれぞれ同期付けて所定のデータベースに書き込む処理と、前記センサに対応する環境値から抽出される特徴量であって、前記データベースが記憶する特微量と、前記センサに入力され、同一に変換された特微量とを比較し、該特徴量が一致するデータの検索を行い、該検索結果を出力する処理とをコンピュータに実行させるためのデータ検索プログラムである。
【００１６】
【発明の実施の形態】
以下、図面を参照して、本発明のデータ検索装置の第１の実施形態について説明する。
本実施形態のデータ検索装置は、図１に示すデータ関連付け装置及び図２に示すデータ復元装置とからなる。図１は、本実施形態のデータ関連付け装置の構成を示す構成図である。本実施形態のデータ関連付け装置は、センサ１−Ａ〜１−Ｃ、変換器２−Ａ〜２−Ｃ、合成器３、ＤＢ・４とから構成される。
センサ１−Ａ〜１−Ｃは、環境値を入力する複数のセンサである。本発明においては、画像情報や音声情報等、視覚、聴覚で認識可能な情報及び味覚、触覚、嗅覚で認識可能な情報を環境値と定義する。すなわち、センサ１−Ａ〜１−Ｃは、具体的には、例えば、画像情報を取り込むイメージセンサや音声情報を取り込むマイクセンサである。
変換器２−Ａ〜２−Ｃは、センサ１−Ａ〜１−Ｃが出力する環境値（例えば、画像情報、音声情報など）を同一の特微量に変換する複数の変換器である。具体的には、例えば、図３に示すように、変換器２−Ａが、イメージセンサ（＝センサ１−Ａ）が出力する画像情報をビットマップデータＡ（＝特徴量）に変換する場合、変換器２−Ｂが、マイクセンサ（＝センサ１−Ｂ）が出力する音声情報を、周波数成分に分解し、この分解した音声情報を成分毎に変換器２−Ａと同様にビットマップデータＢ（＝特徴量）に変換する。
合成器３は、変換器２−Ａ〜２−Ｃが出力する特微量を同期付けてＤＢ・４に書き込むデータ統合器である。具体的には、図３に示すように、変換器２−Ａが変換したビットマップデータＡに、変換器２−Ｂが変換したビットマップデータＢを付加・追加して、ビットマップデータＡ＋Ｂを作成する。
ＤＢ・４は、合成器３が統合した特徴量を記憶する記憶部である。具体的には、図３に示すビットマップデータＡ＋Ｂを記憶する。
【００１７】
図２は、本実施形態のデータ復元装置の構成を示す構成図である。本実施形態のデータ復元装置は、センサ１−Ａ〜１−Ｃ、変換器２−Ａ〜２−Ｃ、マッチング器１０、ＤＢ・４、一致データ復元器１１とから構成される。
以下、図１に示すデータ関連付け装置と共通する構成部については、説明を省略し、異なる構成部について説明する。
マッチング器１０は、センサ１−Ａ〜１−Ｃに対応する環境値（上述した画像情報や音声情報等）から抽出される特徴量であって、ＤＢ・４が記憶する特微量と、変換器２−Ａ〜２−Ｃが出力する特微量とを比較して、特徴量が一致するデータの検索をＤＢ・４に対して行い、検索結果を出力するデータ判定器である。
具体的には、例えば図４に示すように、変換器２−Ｂが、マイクセンサ（＝センサ１−Ｂ）が出力する音声情報を周波数成分に分解し、これを成分毎にビットマップデータ（＝特徴量）に変換する場合、マッチング器１０は、パターンＤＢ（＝ＤＢ・４）が記憶するビットマップデータ（＝画像情報から抽出されるビットマップデータに音声情報から抽出されるビットマップデータが追加されたビットマップデータ）と、変換器２−Ｂが出力するビットマップデータとを比較して、検索対象エリアである音声エリアのビットマップデータが一致するビットマップデータの検索結果を出力する。
一致データ復元器１１は、マッチング器１０が出力する検索結果に基づいて、ＤＢ・４から特徴量を読み出し、この特徴量と対応する変換器１−Ａ〜１−Ｃにおける変換処理と対応する逆変換処理を行い、特徴量から環境値を復元するデータ復元器である。
具体的には、一致データ復元器１１は、例えば図４に示すように、マッチング器１０が出力した検索結果に基づいて、検索結果パターン１のビットマップデータを読み出して、これを出力する。また、一致データ復元器１１は、さらに、この検索結果パターン１のビットマップデータの画像エリアに基づいて、この画像エリアのビットマップデータを出力する。
【００１８】
以下、図面を参照して、本実施形態のデータ検索装置の動作について説明する。
まず、本実施形態のデータ関連付け装置における、データ関連付け処理の流れを説明する。図３、図５は、本実施形態のデータ関連付け装置における、データ関連付け処理の流れを示すフローチャートである。
今、センサ１―Ａであるイメージセンサが、ユーザが提示している実物「Ａ」の環境値である画像を入力するとともに、センサ１―Ｂであるマイクセンサが、ユーザが発話している実物「Ａ」の環境値である音声を入力すると（図５のステップＳ１）、変換器２−Ａが、センサ１―Ａの出力する画像情報をビットマップデータＡに変換し、変換器２−Ｂが、センサ１―Ｂの出力する音声情報をビットマップデータＢに変換する。
このとき、センサ１―Ｂが出力する音声情報は、図６に示すようなデータフォーマットで表され、変換器２−Ｂは、具体的には、次のような処理手順によって、この音声情報をビットマップデータＢに変換する。
【００１９】
すなわち、変換器２−Ｂは、センサ１―Ｂの出力する音声情報：０ｘ１２３４の入力を受けて、これを右に６シフトさせる、つまり０ｘ１２３４を６４（０ｘ４０）で割る。次に、変換器２−Ｂは、この割算の結果得られる補正データ：０ｘ０４８に対して、図７に示すＲＧＢ変換テーブルに基づいて、ＲＧＢ変換を行う。
図７は、ＲＧＢ変換テーブルのテーブル構成を示す図である。本実施形態のＲＧＢ変換テーブルは、２５５×６＝１５３０のデータからなり、１６ｂｉｔの音声データ（ＭＡＸ：６５５３５）は、６４で割ると１０２４個のデータとなることから、図７に示すＲＧＢ（０ｘＦＦ、０ｘ００、０ｘ００）〜ＲＧＢ（０ｘ０３、０ｘ００、０ｘＦＦ）までのテーブル部分を変換に使用する。
ここで、画像データ以外のデータをビットマップ化する場合、データを四角形、例えば、３２０×２４０等になるように整形する必要がある。例えば、音声データ数：２９４０、四角形にするために必要なデータ数：６０×５０＝３０００である場合、このギャップを埋めるために、ダミーデータ：６０（３０００−２９４０＝６０より）を挿入する（ステップＳ２）。
補正データ：０ｘ０４８は、図６に示すＲＧＢ変換テーブルにおいて、ＲＧＢ（０ｘＦＦ、０ｘ４８、０ｘ００）に対応し、変換器２−Ｂは、このＲＧＢ値を出力する（ステップＳ３）。
以上説明したように、変換器２−Ｂは、音声情報：０ｘ１２３４をＲＧＢ（０ｘＦＦ、０ｘ４８、０ｘ００）に変換する。
【００２０】
合成器３は、変換器２−Ａが出力するビットマップデータＡと、変換器２−Ｂが出力するビットマップデータＢとの入力を同時に受けて、ビットマップデータＡとビットマップデータＢを合成してビットマップデータＡ＋Ｂを作成し、パターンＤＢであるＤＢ・４にフレーム番号を付加して書き込む（ステップＳ４）。
なお、合成器３は、あるセンサのパターンを強めるために、変換後のビットマップデータを倍加（縮小）することで大きな（小さな）パターンとして出力し、後述するパターン検索時にこのセンサ出力の割合を高める（低める）ことで認識しやすく（認識しにくく）するようにしてもよい。
【００２１】
次に、本実施形態のデータ復元装置における、データ復元処理の流れを説明する。図４は、本実施形態のデータ復元装置における、データ復元処理の流れを示すフローチャートである。
今、センサ１―Ｂであるマイクセンサが、ユーザが発話している実物「Ａ」の環境値である音声を入力すると、変換器２−Ｂが、センサ１―Ｂの出力する音声情報をビットマップデータＢに変換する。マッチング器１０は、変換器２−Ｂが出力するビットマップデータＢを受けて、これにビットマップデータＡと同一サイズのダミーデータＸを付加する。すなわち、マッチング器１０は、図４に示すようなダミーエリアと音声エリアを持つビットマップデータＸ＋Ｂを作成する。そして、マッチング器１０は、このビットマップデータＸ＋Ｂと、ＤＢ・４が記憶するビットマップデータとを比較し、検索対象エリアである音声エリアのビットマップデータ部分がビットマップデータＢと一致するビットマップデータの検索結果を出力する。
今、ＤＢ・４には、データ関連付け装置によって、予めビットマップデータＡ＋Ｂが記憶されているので、本実施形態において、マッチング器１０は、ビットマップデータＡ＋Ｂの音声エリアがビットマップデータＢと一致することを示す検索結果を出力する。
【００２２】
一致データ復元器１１は、マッチング器１０が出力した検索結果に基づいて、検索結果パターン１のビットマップデータＡ＋Ｂを読み出して、これを出力する。
また、一致データ復元器１１は、さらに、この検索結果パターン１のビットマップデータＡ＋Ｂの画像エリアから、検索対象エリア（＝音声エリア）に相当するビットマップデータＢを除いたビットマップデータＡを出力する。
【００２３】
したがって、本実施形態のデータ検索装置を適用することにより、様々な情報源を持ったシステムでそれら情報をデータベースに同期付けて記憶させておくため、ある任意の情報源１つをキーとして、他の同期した情報全てを検索することができる効果が得られる。
具体的には、例えば、ユーザが“リンゴ”を見せて、「リンゴ」と発話すると、この音声情報と画像情報とが同期付けられて記憶される。そして、次にユーザが「リンゴ」と発話すると、“リンゴ”の画像を出力することができる。
また、この逆の場合も同様であり、次にユーザが“リンゴ”を提示すると、「リンゴ」という音声を出力することができる。
なお、“リンゴ”の画像情報が、数十万画素の情報量であり、かつ、この“リンゴ”の音声情報が、数十の情報量である場合、音声情報は誤差と認識される可能性がある。これを防止するために、合成器１０は、画像情報の特徴点のみを抽出し、情報量を数百程度まで圧縮する、あるいは、音声情報を倍加することで、相対的に情報量を近づけることが考えられる。
【００２４】
また、本実施形態のデータ検索装置によれば、マッチング器は、センサによって知覚される環境値の種類に係らず、同一のデータ形式（＝ビットマップ形式）でデータ認識を行うので、新たに複数の検索用特徴量マッチング器や検索アルゴリズムを開発する必要がなく、開発コストを低減させることができる効果が得られる。
また、本実施形態のデータ検索装置によれば、マッチング器が採用するアルゴリズムとして、既存の画像パターン検索アルゴリズムを適用することができるため、汎用性に優れている。
また、本実施形態のデータ検索装置によれば、センサから取り込まれた情報をビットマップに変換しておくため、ユーザが、変換したデータを視覚的に理解・判断しやすいという効果が得られる。
【００２５】
次に、図面を参照して、本発明のデータ検索装置の第２の実施形態について説明する。
本実施形態のデータ検索装置は、図８に示すデータ関連付け装置及び図９に示すデータ復元装置とからなる。図８は、本実施形態のデータ関連付け装置の構成を示す構成図である。本実施形態のデータ関連付け装置は、センサ１−Ａ〜１−Ｃ、変換器２−Ａ〜２−Ｃ、ＤＢ・４−Ａ〜４−Ｂ、ＤＢ・５、関連付け器６とから構成される。
すなわち、本実施形態のデータ関連付け装置が第１の実施形態のデータ関連付け装置と異なる点は、合成器３を省略し、このため、ＤＢ・４をＤＢ・４−Ａ〜ＤＢ・４−Ｃに分割して設け、ＤＢ・５を設け、またこれらのＤＢ・４−Ａ〜ＤＢ・４−Ｃ、ＤＢ・５を同期させるための関連付け器６を設ける点である。
【００２６】
ＤＢ・４−Ａ〜ＤＢ・４−Ｃは、変換器２−Ａ〜２−Ｃそれぞれが出力する特徴量を記憶する記憶部である。具体的には、例えば、ＤＢ・４−Ａは、図１０に示すように、センサ１−Ａであるイメージセンサが出力するビットマップデータＡを記憶する。また、例えば、ＤＢ・４−Ｂは、図１０に示すように、センサ１−Ｂであるマイクセンサが出力するビットマップデータＢを記憶する。
ＤＢ・５は、センサ１−Ａ〜１−Ｃの出力する環境値を記憶する記憶部である。具体的には、例えば、ＤＢ・５は、音ＤＢや画像ＤＢであって、図１０に示すように音ＤＢは、マイクセンサが出力する音声情報を記憶する。
関連付け器６は、変換器２−Ａ〜２−Ｃが出力し、ＤＢ・４−Ａ〜ＤＢ・４−Ｃに書き込まれる特徴量及びセンサ１−Ａ〜１−Ｃが出力し、ＤＢ・５に書き込まれる環境値を同期付けるデータ関連付け器である。具体的には、関連付け器６は、これらの特徴量及び環境値に同一のフレーム番号を付加することで関連付けを行う。
【００２７】
図９は、本実施形態のデータ復元装置の構成を示す構成図である。本実施形態のデータ復元装置は、センサ１−Ａ〜１−Ｃ、変換器２−Ａ〜２−Ｃ、マッチング器１０、ＤＢ・４−Ａ〜４−Ｃ、一致データ復元器１１とから構成される。
すなわち、本実施形態のデータ復元装置が第１の実施形態のデータ復元装置と異なる点は、ＤＢ・４をＤＢ・４−Ａ〜ＤＢ・４−Ｃに分割して設ける点である。
なお、上述したように、ＤＢ・４−Ａ〜ＤＢ・４−Ｃは、変換器２−Ａ〜２−Ｃそれぞれが出力する特徴量を記憶する記憶部である。
【００２８】
以下、図面を参照して、本実施形態のデータ検索装置の動作について説明する。
まず、本実施形態のデータ関連付け装置における、データ関連付け処理の流れを説明する。図１０、図１２は、本実施形態のデータ関連付け装置における、データ関連付け処理の流れを示すフローチャートである。
今、センサ１―Ａであるイメージセンサが、ユーザが提示している実物「Ａ」の環境値である画像を入力するとともに、センサ１―Ｂであるマイクセンサが、ユーザが発話している実物「Ａ」の環境値である音声を入力すると（図１２のステップＳ１１）、変換器２−Ａが、センサ１―Ａの出力する画像情報をビットマップデータＡに変換し、変換器２−Ｂが、センサ１―Ｂの出力する音声情報をビットマップデータＢに変換する。
このとき、センサ１―Ｂが出力する音声情報は、図６に示すようなデータフォーマットで表され、変換器２−Ｂは、具体的には、次のような処理手順によって、この音声情報をビットマップデータＢに変換する。
【００２９】
すなわち、変換器２−Ｂは、センサ１―Ｂの出力する音声情報：０ｘ１２３４の入力を受けて、これを右に６シフトさせる、つまり０ｘ１２３４を６４（０ｘ４０）で割る。次に、変換器２−Ｂは、この割算の結果得られる補正データ：０ｘ０４８に対して、図７に示すＲＧＢ変換テーブルに基づいて、ＲＧＢ変換を行う。
本実施形態のＲＧＢ変換テーブルは、第１実施形態と同様に、２５５×６＝１５３０のデータからなり、１６ｂｉｔの音声データ（ＭＡＸ：６５５３５）は、６４で割ると１０２４個のデータとなることから、図７に示すＲＧＢ（０ｘＦＦ、０ｘ００、０ｘ００）〜ＲＧＢ（０ｘ０３、０ｘ００、０ｘＦＦ）までのテーブル部分を変換に使用する。ここで、画像データ以外のデータをビットマップ化する場合、データを四角形、例えば、３２０×２４０等になるように整形する必要がある。例えば、音声データ数：２９４０、四角形にするために必要なデータ数：６０×５０＝３０００である場合、このギャップを埋めるために、ダミーデータ：６０（３０００−２９４０＝６０より）を挿入する（ステップＳ１２）。
補正データ：０ｘ０４８は、図６に示すＲＧＢ変換テーブルにおいて、ＲＧＢ（０ｘＦＦ、０ｘ４８、０ｘ００）に対応し、変換器２−Ｂは、このＲＧＢ値を出力する（ステップＳ１３）。
以上説明したように、変換器２−Ｂは、音声情報：０ｘ１２３４をＲＧＢ（０ｘＦＦ、０ｘ４８、０ｘ００）に変換する。
【００３０】
関連付け器６は、変換器２−Ａが出力するビットマップデータＡと、変換器２−Ｂが出力するビットマップデータＢ、及びマイクセンサが出力する音声情報をそれぞれに同一のフレーム番号を付加することで同期付けて、ＤＢ・４−ＡにビットマップデータＡを、ＤＢ・４−ＢにビットマップデータＢを、ＤＢ・５に音声情報を書き込む（ステップＳ１４）。
なお、関連付け器６は、あるセンサのパターンを強めるために、変換後のビットマップデータを倍加（縮小）することで大きな（小さな）パターンとして出力し、後述するパターン検索時にこのセンサ出力の割合を高める（低める）ことで認識しやすく（認識しにくく）するようにしてもよい。
【００３１】
次に、本実施形態のデータ復元装置における、データ復元処理の流れを説明する。図１１は、本実施形態のデータ復元装置における、データ復元処理の流れを示すフローチャートである。
今、センサ１―Ａであるイメージセンサが、ユーザが提示している実物「Ａ」の環境値である画像情報を入力すると、変換器２−Ａが、センサ１―Ａの出力する画像情報をビットマップデータＡに変換する。マッチング器１０は、このビットマップデータＡと、ＤＢ・４−Ａが記憶するビットマップデータとを比較し、検索対象エリアである画像エリアのビットマップデータ部分がビットマップデータＡと一致するビットマップデータの検索結果を出力する。
今、ＤＢ・４−Ａ、４−Ｂには、データ関連付け装置によって、予めビットマップデータＡ、ビットマップデータＢが同期付けられて記憶されているので、本実施形態において、マッチング器１０は、まずＤＢ・４−Ａに記憶されているビットマップデータＡを読み出して、読み出したビットマップデータＡのフレーム番号をキーとして、ＤＢ・４−Ｂに記憶されているビットマップデータＢを検索してこれを読み出し、図１１に示す検索結果統合パターン１のビットマップデータＡ＋Ｂとして出力する。次に、マッチング器１０は、このビットマップデータＡ、ビットマップデータＢのフレーム番号をキーとして、音ＤＢであるＤＢ・５に記憶されている音声情報を検索し、検索結果を出力する。
【００３２】
一致データ復元器１１は、マッチング器１０が出力した検索結果に基づいて、検索結果統合パターン１と同期する音声情報をＤＢ・５より読み出して、これをスピーカに出力する。
【００３３】
本実施形態のデータ検索装置を適用することにより、複数の情報源を持ち、かつ同期させて情報を蓄積するシステムにおいて、任意の情報源のデータを元に同期した他の情報源のデータを検索するシステムを容易に構築できる効果が得られる。
【００３４】
なお、上記実施形態におけるセンサ１−Ａ〜１−Ｃは、イメージセンサ、マイクセンサである場合の例を示したが、本発明は、これに限られるものではない。すなわち、センサ１−Ａ〜１−Ｃとして、力センサ、加速度センサ、速度センサ、角速度センサ（回転数、回転数速度センサ）、変位・角度センサ、姿勢センサ、温度センサ、湿度センサ、接触センサ、触覚センサ、すベり角センサ、タッチパネルセンサ、可視光・赤外線センサ、イメージセンサ、熱流体センサ、距離センサ、近接覚センサ、マイクロフォン、超音波センサ、ガスセンサ、イオンセンサ、バイオミメティクスセンサ、半導体味覚センサ、分光センサ、ＳＡＷ液体センサ、表面プラズモン共鳴法、電磁波センサ、Ｘ線センサ、磁気センサ、感圧塗料（Ｐｒｅｓｓｕｒｅ  Ｓｅｎｓｉｔｉｖｅ  Ｐａｉｎｔ）、バイオセンサ、バイオメトリクス（生体認証センサ）等のセンサが適用可能である。これらのセンサを用いる場合、それぞれに適切な変換アルゴリズムを採用する必要がある。
この場合、例えば、“リンゴ”を認識する際、“赤”や“丸い”という視覚情報だけでなく、“リンゴ”という音情報や“甘酸っぱい”などの味覚情報も合わせて記憶させ、これを認識させることができる効果が得られる。
【００３５】
また、本発明のデータ検索装置において、マッチング器１０におけるパターン認識アルゴリズムは任意であり、例えば、ベイズ識別方式、確率密度分布を用いてＱ値を推定する方式、多層ニューラルネットワークを用いる方式が考えられる。
【００３６】
上述のデータ検索装置は内部に、コンピュータシステムを有している。そして、上述したデータ関連付け処理、データマッチング処理等のデータ検索に関する一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【図面の簡単な説明】
【図１】第１実施形態のデータ関連付け装置の構成を示す構成図である。
【図２】第１実施形態のデータ復元装置の構成を示す構成図である。
【図３】第１実施形態のデータ関連付け装置の処理の流れを示すフローチャートである。
【図４】第１実施形態のデータ復元装置の処理の流れを示すフローチャートである。
【図５】第１実施形態のデータ関連付け装置の処理の流れを示すフローチャートである。
【図６】音声データのデータフォーマットを示す図である。
【図７】ＲＧＢ変換テーブルの構成を示す構成図である。
【図８】第２実施形態のデータ関連付け装置の構成を示す構成図である。
【図９】第２実施形態のデータ復元装置の構成を示す構成図である。
【図１０】第２実施形態のデータ関連付け装置の処理の流れを示すフローチャートである。
【図１１】第２実施形態のデータ復元装置の処理の流れを示すフローチャートである。
【図１２】第２実施形態のデータ関連付け装置の処理の流れを示すフローチャートである。
【図１３】従来のデータ関連付け装置の構成を示す構成図である。
【図１４】従来のデータ復元装置の構成を示す構成図である。
【符号の説明】
１−Ａ〜１−Ｃ…センサ、２―Ａ〜２−Ｃ…変換器、３…合成器、４，４−Ａ〜４−Ｃ，５…ＤＢ、６…関連付け器、１０…マッチング器、１１…一致データ復元器
【図１】
2004272358.tif 000003
【図２】
2004272358.tif 000004
【図３】
2004272358.tif 000005
【図４】
2004272358.tif 000006
【図５】
2004272358.tif 000007
【図６】
2004272358.tif 000008
【図７】
2004272358.tif 000009
【図８】
2004272358.tif 000010
【図９】
2004272358.tif 000011
【図１０】
2004272358.tif 000012
【図１１】
2004272358.tif 000013
【図１２】
2004272358.tif 000014
【図１３】
2004272358.tif 000015
【図１４】
2004272358.tif 000016