(57)【要約】      （修正有） 【課題】画像、音声、文字、数字等の保管形式の異なる情報に意味付けを行い、グループ化して登録を行い、登録された情報に対して検索、表示、認識を行う装置及び方法を提供する。【解決手段】画像、音声、文字、数字情報等の入力、記録において、それぞれの入力情報について情報の変化や特徴を検出または抽出するルールを記録する手段を持ち、いずれかの情報の変化や特徴が検出された場合、その検出をイベントとして、その情報の変化や特徴が検出された時刻に同期して、イベント内容と共に１つのグループとして、イベント発生時刻とともに同時に記録を行う手段と、イベント内容や時刻や特徴を使用して検索した結果を画像情報に変換する手順を登録する手段を持ち、あらかじめ状況と画像情報を対にして登録してある状況判断情報中の画像情報とをパターンマッチングすることにより検索結果情報の認識を行う手段を備えた。【選択図】図１
2009048422.tif 000002
【特許請求の範囲】
【請求項１】
音声、画像、数字、テキスト情報をそのまま入力情報として記録する手段と入力情報から情報の変化や情報の特徴を検出、抽出を行うルールをあらかじめ登録しておく手段を持ち、入力情報から登録されたルールに従い情報の変化や情報の特徴を検出して特長抽出を行い記録する手段を持つ情報記録部を複数持ち、いずれかの情報記録部において入力情報の変化や情報の特徴が検出された場合、その検出をイベントとしてイベントが発生した時刻に同期して、他の情報記録部に入力されている情報についてもそれぞれの情報記録部に登録されている情報の変化や特徴検出と抽出ルールに従い、情報の状況や特徴検出と抽出を行い、イベント内容と共に全ての入力情報の状況や特徴を１つのグループとして、イベント発生時刻とイベント内容をグループ情報の見出しとして同時に記録する情報記憶手段と記録されたイベントや情報の変化や情報の特徴を検索キーとして記録されているイベント情報や情報の変化や情報の特徴から情報検索を行う手段と検索した結果中のイベント情報や情報の変化や情報の特徴からなる情報グループを画像情報に変換する画像情報変換手順と画像情報を合成表示する画像情報合成手順を記録する手段と状況に対する画像情報を対にして登録する手段を持ち、検索されたイベント情報や情報の変化や情報の特徴について、登録されている画像情報への変換と画像情報合成表示手順により画像情報の合成表示を行い、登録されている状況判断情報の画像情報と画像情報の合成表示をパターンマッチングすることにより状況を判定することのできる情報認識装置。
【請求項２】
イベント情報や情報の変化や情報の特徴を検索キーとした情報検索により得られた、検索結果の画像情報の合成表示を行う場合において、あらかじめ登録してある時間を入力とする情報合成用重み付け関数に基づき検索結果情報が持つ時間情報を元に重みを計算して、重みを検索結果の画像変換に反映して画像情報合成を行う手段を備えた、請求項１記載の情報認識装置。
【請求項３】
音声、画像、数字、テキスト情報を入力情報として複数の情報の記録、検索、認識する方法において、入力情報をそのまま記録する方法に加えて、それぞれの入力情報について変化や情報の特徴を検出、抽出するルールをあらかじめ登録しておき、登録されたルールに従い、いずれかの入力情報について情報の変化や情報の特徴が検出された場合、その検出をイベントとして、イベント発生時刻に同期して、他の入力情報についてもそれぞれの入力情報について登録されている情報の特徴検出、抽出ルールに従い、情報の状況や特徴の検出、抽出を行い、イベント内容と共に全ての入力情報の状況や特徴を１つのグループとして、イベント発生時刻とともにイベント内容をグループ情報の見出しとして同時に記録する方法と記録されたグループに対して、記録されたイベントや情報の変化や情報の特徴をキーとして検索する方法と検索された情報をあらかじめ登録してある画像変換手順と画像情報合成手順に従い、画像情報の合成表示を行い、画像情報の合成表示とあらかじめ状況と画像情報を対にして登録してある状況判断情報の画像情報をパターンマッチングすることにより情報を認識する情報認識方法。
【請求項４】
音声、画像、数字、テキスト情報を入力情報として複数の情報の記録、検索、認識する方法において、請求項３記載の情報認識方法に加えて、検索結果情報の画像情報合成において、あらかじめ登録してある時間を入力とする重み付け関数に基づき検索結果情報が持つ時間情報を元に重みを計算して、重みを検索結果の画像変換に反映して画像情報を合成する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報の登録、検索、表示、識別装置及び情報の登録、検索、表示、識別方法に関するものである。
【背景技術】
【０００２】
情報の登録、検索、表示、判断を行う場合、音声や画像または数字や文字情報のように情報の種類が異なる場合、それぞれの情報の形式で記録を行うのが普通であり、異なる形式の情報に対して一律に登録、検索、表示を行い、検索結果に複数の種類の情報が含まれる場合、検索結果が示す状況を一度に判断することは不可能であった
【０００３】
例えば画像、音声、数字、テキスト情報を取り扱うことのできるファイル形式としてＸＭＬやＸＭＬベースのＳＭＩＬ（Synchronized Multimedia Integration Language）がある。しかしこれらのファイル形式ではそれぞれの情報はそれぞれの形式で情報のありかや再生タイミングが記録されているのみで、情報を意味や内容的に扱うものではない。
【０００４】
従来の文字、記号、画像情報からの特長抽出手段は主に書類データの保管、検索用に見出し情報を付加するためのものであり、音声、画像を含めた情報に対して検索用の見出しを付けるものではない、しかも時間軸に沿って情報を検索することも不可能であった。
【０００５】
従来はある時刻の情報を分類しようとするもので、ある入力情報に特徴が検出された場合、その他の入力情報をもグループ化して全ての情報を記録する手段はなく、時間軸に沿って状況を検索して、状況の変化を認識することは不可能であった。
【０００６】
従来は複数の種類の情報をタグ付文字列に変換して一律に扱おうとするもので、入力情報から特徴を抽出して画像情報に変換して、更に画像情報の合成を行うことにより状況を判断しようとするものではなく、しかも画像情報合成時の変換手順と重み付け関数の登録手段や画像情報合成時の重み付け関数を使用した変換手段を持たない。
【特許文献１】特許公開２０００−２６８０５７
【特許文献２】特許公開２００３−０５０８１３
【特許文献３】特許公開平９−３４９０３
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の情報の識別方法では識別しようとする情報はそれぞれの情報形式で保管されており、複数の情報を認識する場合にはそれぞれの情報を順番にそれぞれの識別方法や表示方法を使用して識別する必要があった。
【０００８】
しかもそれぞれの情報形式で記録されている情報は情報記録のタイミングに時間差があり、同時刻の情報として識別することは困難であり、特定な時間を指定して同時刻での全ての状況を同時に識別することは不可能である。
【０００９】
例えば自動ドアの開閉データと自動ドア近辺の画像データは別々に記録されており、自動ドアの開閉データより自動ドアが開いた時刻を用いて、画像データを探すことはできても、自動ドアが開いたというイベントを用いて画像データを直接検索することは不可能である。
【課題を解決するための手段】
【００１０】
本発明では音声、画像、数字、テキスト情報等の複数の種類の情報について入力と記録を行い、あらかじめ登録してある入力情報の変化や特徴を検出するルールに基づき入力情報の変化を検出する。
【００１１】
本発明では音声、画像、数字、テキスト情報等の複数の種類の入力情報を記録する場合において、これらの情報をそのまま記録しながらいずれかの入力情報に変化や特徴が検出された場合、その検出をイベントとして、その情報の変化や特徴が検出された時刻に同期して、他の情報記録部に入力されている情報についても情報の状況、変化、特徴について状況の抽出を行い、イベント内容と共に全ての情報から抽出された状況をグループとして、イベント発生時刻とともにイベント内容をグループ情報の見出しとして同時に記録する。
【００１２】
例えば、音声、画像、数字、テキスト情報等の入力情報をそのまま記録している途中で入力されている音声情報中にあらかじめ設定した以上に大きな音が検出された場合、大きな音声発生をイベントとして、発生時刻の記録を行い、その他の入力情報についても変化や状況の抽出を行い、発生イベントとイベント発生時刻とともに全ての入力情報の状況を１グループとして記録する。
【００１３】
本発明により、複数の種類の情報はイベント情報により、全てが意味づけされ、時系列的に記録される。
【００１４】
情報の検索においてイベント情報や情報の変化や特徴をキーとして検索することによりイベント情報と共に記録されている、同時刻の情報グループが検索される。
【００１５】
検索された情報表示において、検索結果中のグループ内のそれぞれの情報や複数の検索結果のグループ情報はあらかじめ登録してある、強調するキーワードや強調表示する特定な情報や情報の変化や特徴に伴い、拡大縮小回転移動表示や図形や色や数字やキーワードに変換するルールに従い図形や数字や色やキーワードからなる画像情報に変換され合成表示される。
【００１６】
更に、時刻に沿って検索された情報を画像情報に変換した後、あらかじめ登録してある時間を入力とする情報合成用重み付け関数に基づき検索結果が持つ時間情報を使用して重みを計算して、重みを検索結果の変換に反映して画像情報の合成表示を行うことにより関数の意味を含んだ画像情報の合成が可能となる。
【００１７】
例えば、情報合成用重み付け関数に時間軸に沿って遠い将来と過去は値を小さく、また近未来と過去は値を大きくとるような関数を採用した場合、遠い将来と過去の情報は小さく、また近未来と過去の情報は大きくした画像情報の合成表示を得る。
【００１８】
情報検索の結果を画像情報の合成表示したものと状況と画像情報を対にしてあらかじめ登録してある状況判断情報の画像情報とをパターンマッチングすることにより検索結果情報の認識を行う。
【発明の効果】
【００１９】
人が着目する情報の変化や特徴を特徴検出または特徴抽出ルールとして登録することにより、入力される情報に対して人と同じ視点による意味づけが可能となり、意味付けされた情報の記録と意味的な情報検索と表示が可能となる。
【００２０】
１つの入力情報に情報の変化や特徴のイベントが検出された場合、入力されている他の情報についてもイベント発生と同時刻に特徴や状況の抽出を行い、イベント内容と共に全ての情報の状況をグループ化して、時系列的に記録することにより、複数の情報が入力、記録される場合において時系列的な人の視点に立った情報の検索、表示、認識が可能となる。
【００２１】
更に検索された画像や音声や文字や数字のように種類の異なる情報を図形や色や数字やキーワードに変換して合成表示することにより検索された情報を総合的に、しかも意味的にも統一した形として取り扱うことが可能となる。
【００２２】
検索された情報の合成において、人の感覚は時間軸を横軸にとった場合、その感覚的な大きさや重要度は時間を入力とするべき関数に従うことを利用することにより人の感覚に沿って情報を合成することが可能となる。
【００２３】
例えば、検索された情報を拡大縮小回転移動表示や図形や色や数字やキーワードに変換する場合において、べき関数に従い、情報の持つ時刻が古い過去や遠い未来のものは重みを小さく、近い過去や近未来の情報は重みを大きくして、この重みを反映した画像情報の変換計算を行い、画像情報を合成することにより、人の感覚に近い画像情報の合成が可能となる。
【非特許文献１】リンゼイノーマン  情報処理心理学入門１  感覚と知覚（サイエンス社  １９８４）
【００２４】
そして、上記のように検索された画像や音声や文字や数字のように種類の異なる情報を拡大縮小回転移動表示や図形や色や数字やキーワードに変換して画像情報の合成表示を行い、この画像情報の合成表示とあらかじめ登録してある状況判断情報の画像情報とをパターンマッチングすることにより、検索された情報を総合的に、しかも意味的にも統一した形として認識することが可能となる。
【実施例１】
【００２５】
図１は本発明装置の実施の例であり、情報認識装置（１８）は複数の情報記録部（５）を持つ、情報記録部（５）は入力される情報に対して１つずつ必要であり、例えば、画像情報１（１）、音声情報（２）、数字、文字情報（３）、画像情報２（４）の４つある場合には４つ必要である。
【００２６】
情報記録部は入力情報をそのまま、情報記憶手段（９）に記録する情報入力手段（６）と情報の変化や特徴を検出する、特徴抽出するルール（７）を使用して情報の特長を抽出して情報記憶手段（９）に記録する特徴情報検出、抽出手段（８）を持つ。
【００２７】
情報記録部（５）に入力される情報に対して、特徴抽出ルール（７）に適合する情報が入力された場合、特徴抽出ルール（７）に従い、情報から特徴情報の検出と抽出を行い、この検出をイベントとして、このイベント発生時刻を情報記録イベント発生時刻とし、イベント発生時刻にその他の情報記録部（５）に入力されている情報についても、それぞれの情報記録部（５）に登録されている特徴抽出ルール（７）に基づき情報の特徴や状況を抽出して、発生イベントとイベント発生時刻とともに全ての情報記録部（５）からの特徴や状況情報を１グループとして情報記認手段（９）に記録する（図２参照）。
【００２８】
その他の音声情報（２）や数字、文字情報（３）、画像情報２（４）についても画像情報（１）と同様にそれぞれに登録されている情報の変化や特徴抽出ルール（７）に従い、情報記録イベントが発生した場合、この時刻を記録イベント発生時刻とし、同時にその他の情報記録部に入力されている情報からも情報の特徴や状況を抽出して、情報記録イベントと情報記録イベント発生時刻とともに全ての情報記録部（５）からの特徴や状況情報を１グループとして情報記憶手段（９）に登録する。
【００２９】
情報検索／画像情報変換手段（１０）は情報記憶手段（９）が記憶している情報に対してイベントや情報の特徴を検索キーとして情報検索要求（１６）を行い、検索要求に対する情報検索結果（１７）を登録してある画像情報変換手順（１３）に基づき図形や色や数字やキーワードへの画像情報への変換を行う。
【００３０】
検索情報を画像情報に変換したものを、あらかじめ登録してある画像情報合成手順（１４）に基づき拡大縮小回転移動変換を行い、画像情報合成表示手段（１１）に合成画像として表示を行う。
【００３１】
情報合成用重み付け関数（１９）に従い、検索された情報が持つ時間情報に基づき重みを計算して検索結果情報を拡大縮小回転移動表示や図形や色や数字やキーワードに変換したものに重みのかけあわせ計算を行い情報の合成表示を行う（図３参照）。
【００３２】
例えば、重み付け関数を人の感覚を示す、べき関数とすると検索された情報で遠い過去や未来のものは重みを小さく、近い過去や未来の情報は重みを大きくして、検索結果情報を拡大縮小回転移動表示や図形や色や数字やキーワードに変換したものに重みのかけあわせ計算を行い情報の合成表示を行うと近い過去と未来の情報は強調され、遠い過去と未来の情報は弱く表示される（図４参照）。
【００３３】
画像情報合成表示手段（１１）表示されている検索情報の画像情報合成状態と、あらかじめ状況と画像情報とを対にして登録してある状況判断情報（１５）の画像情報とをパターンマッチング手法により照合することにより、検索結果を画像情報の合成として表示したものの状況を認識する（図５参照）。
【実施例２】
【００３４】
図４は病院における患者の状態判断を行う場合の例であり、監視カメラ情報（２０）と自動ドアの開閉情報（２１）と病院情報システムからの患者の状態等に関する情報（２２）を本装置を用いて記録している状態において、自動ドア情報（２１）に特徴抽出ルール２（２４）に基づきドアが開くイベントが検出された場合、イベント発生時刻（２９）と同じ時刻に同期して監視カメラ情報（２０）と情報システムからの情報（２２）をそれぞれの特徴抽出ルール１（２３）と特徴抽出ルール３（２５）に基づき特徴を抽出して記録する。
【００３５】
次に抽出された特徴情報を画像情報変換手順（１３）に基づき画像情報１（２６）、画像情報２（２７）、画像情報３（２８）に変換した後、変換された画像情報を画像情報合成手順（１４）に基づき、画像情報の拡大縮小回転移動変換（３１）を行い画像情報の合成表示（３０）を行う。
【００３６】
更に情報合成用重み付け関数（１９）が登録されている場合には情報合成用重み付け関数により重みを計算して、重みに従う表示順番により配置（３４）処理を行い、画像情報の合成表示（３０）を行う。
【００３７】
例えば、自動ドアが開いた情報は画像情報２（２７）に変換された後、状況判断に対して大きな影響を与えないので、小さくしかも後方に画像情報の合成表示（３０）として表示される。
【００３８】
上記の手段により得られた画像情報の合成表示（３０）とあらかじめ登録してある状況判断情報（３２）とをパターンマッチング手法により照合することにより現在の患者の状態を判断する。
【００３９】
例えば、情報システム情報（２２）から患者が高齢であることが入力されている場合には患者情報は高齢を示す赤色で、更に注意を促す三画形である画像情報３（２８）に変換され、カメラからの画像情報１（２６）とともに強調された画像情報の合成表示（３０）として表示される。
【００４０】
この画像情報合成時に、監視カメラからの情報（２０）には変化または特徴が検出されていないので、監視カメラからの情報（２０）は問題のない青丸の画像情報１（２６）に変換されて画像情報の合成表示（３０）として表示される。
【００４１】
画像情報の合成表示に適合する状況判断情報が登録されているかどうかをパターンマッチング手法により照合を行い、適合する情報がある場合には登録内容を表示する。
【００４２】
例えば、高齢者の場合、次に監視カメラから患者が動く特徴が検出された場合、ベットから降りる場合の足元に注意をするという警告を表示し、次に監視カメラから患者が動いた特徴が検出された場合足元注意との警告を表示する。
【図面の簡単な説明】
【００４３】
【図１】本発明の全体構成図である。
【図２】情報記録部が情報記録を行うフローチャートの図である。
【図３】検索情報を画像情報へ変換して画像の合成表示を行うフローチャートの図である。
【図４】本発明を使用して患者の状態判断を行う例の図である。
【図５】検索情報を画像情報の合成表示した後、認識を行うフローチャートの図である。
【符号の説明】
【００４４】
１  入力される画像情報（その１）
２  入力される音声情報
３  入力される数字、文字情報
４  入力される画像情報（その２）
５  情報記録部
６  情報入力手段
７  特徴抽出ルール
８  特徴情報検出、抽出手段
９  情報記録手段（イベント発生理由と時刻と共に情報を記録する）
１０  情報検索、画像情報変換手段
１１  画像情報合成表示手段
１２  表示情報認識手段
１３  画像情報変換手順
１４  画像情報合成手順
１５  状況と画像情報から構成される状況判断情報
１６  情報検索要求
１７  情報検索結果
１８  情報認識装置
１９  情報合成用重み付け関数
２０  カメラ情報
２１  自動ドア情報
２２  情報システム情報
２３  特徴抽出ルール１
２４  特徴抽出ルール２
２５  特徴抽出ルール３
２６  画像情報１
２７  画像情報２
２８  画像情報３
２９  イベント発生時刻
３０  画像情報の合成表示
３１  拡大縮小回転移動変換
３２  状況判断情報
３３  パターンマッチング手法
３４  情報合成用重み付け関数による重み順番により画像情報を配置する様子
【図１】
2009048422.tif 000003
【図２】
2009048422.tif 000004
【図３】
2009048422.tif 000005
【図４】
2009048422.tif 000006
【図５】
2009048422.tif 000007