(57)【要約】  本発明の情報処理装置２００は、認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジン２１１，２１２，２１３から出力された各認識結果情報を取得する認識結果取得手段２０１と、複数の認識エンジンからそれぞれ取得した各認識結果情報を統合した新たな認識結果を出力する統合認識結果出力手段２０２と、を備える。そして、上記認識結果取得手段２０１は、複数の認識エンジンにて共通するデータ形式の認識結果情報を複数の認識エンジンからそれぞれ取得し、上記統合認識結果出力手段２０２は、各認識結果情報に基づいて当該各認識結果情報を統合して新たな認識結果として出力する、という構成を取る。
2012111252.tif 000002
【特許請求の範囲】
【請求項１】
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力された各認識結果情報を取得する認識結果取得手段と、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報を統合した新たな認識結果を出力する統合認識結果出力手段と、を備え、
前記認識結果取得手段は、前記複数の認識エンジンにて共通するデータ形式の前記認識結果情報を前記複数の認識エンジンからそれぞれ取得し、
前記統合認識結果出力手段は、前記各認識結果情報に基づいて当該各認識結果情報を統合して前記新たな認識結果として出力する、
情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記統合認識結果出力手段は、前記各認識結果情報に予め定められた基準により相互に対応する情報が含まれている場合に、当該各認識結果情報を統合して前記新たな認識結果として出力する、
情報処理装置。
【請求項３】
請求項１又は２に記載の情報処理装置であって、
前記認識結果取得手段にて前記複数の認識エンジンからそれぞれ取得する前記認識結果情報のデータ形式を定義する認識結果定義情報と、前記統合認識結果出力手段にて前記各認識結果情報を統合する際の統合形式を定義する統合定義情報と、を記憶した定義情報記憶手段を備え、
前記認識結果取得手段は、前記認識結果定義情報にて定義されたデータ形式にて前記各認識結果情報を取得し、
前記統合認識結果出力手段は、前記統合定義情報にて定義された統合形式にて前記各認識結果情報を統合して前記新たな認識結果を出力する、
情報処理装置。
【請求項４】
請求項１乃至３のいずれかに記載の情報処理装置であって、
前記認識結果取得手段にて前記複数の認識エンジンからそれぞれ取得する前記認識結果情報は、グラフ構造又は木構造のデータ形式である、
情報処理装置。
【請求項５】
請求項２に記載の情報処理装置であって、
前記認識結果取得手段は、前記認識対象データから物体を認識する物体認識エンジンと、前記認識対象データから所定の物体の移動軌跡を表す動線を認識する動線認識エンジンと、から前記認識結果情報をそれぞれ取得し、
前記統合認識結果出力手段は、前記物体認識エンジンから取得した前記認識結果情報である物体情報に、前記動線認識エンジンから取得した前記認識結果情報である所定の物体の動線情報を関連付けて統合し、前記新たな認識結果として出力する、
情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記認識結果取得手段は、前記物体認識エンジンが前記認識対象データから認識した物体の位置とその日時を表す所在情報を含む前記認識結果情報を前記物体認識エンジンから取得すると共に、前記動線認識エンジンが前記認識対象データから認識した所定の物体の動線情報を前記動線認識エンジンから取得し、
前記統合認識結果取得手段は、前記物体認識エンジンから取得した前記所在情報に予め定められた基準により対応する情報が前記動線認識エンジンから取得した前記動線情報に含まれている場合に、前記所在情報に対応する情報が含まれた前記物体認識エンジンからの前記認識結果情報にて特定される物体情報に、前記動線認識エンジンからの前記認識結果である前記動線情報を関連付けて統合し、前記新たな認識結果として出力する、
情報処理装置。
【請求項７】
請求項２に記載の情報処理装置であって、
前記認識結果取得手段は、前記認識対象データからそれぞれ異なる認識処理にて物体を認識する複数の物体認識エンジンから前記認識結果情報をそれぞれ取得し、
前記統合認識結果出力手段は、前記複数の物体認識エンジンからそれぞれ取得した前記各認識結果情報である各物体情報に基づいて一の物体情報を特定して統合し、前記新たな認識結果を出力する、
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記認識結果取得手段は、前記複数の物体認識エンジンが前記認識対象データから認識した物体の候補を表す物体候補情報を含む前記認識結果情報を前記複数の物体認識エンジンからそれぞれ取得し、
前記統合認識結果取得手段は、前記複数の物体認識エンジンからそれぞれ取得した前記各物体候補情報で予め定められた基準により相互に対応する物体情報を特定して、前記新たな認識結果として出力する、
情報処理装置。
【請求項９】
情報処理装置に、
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力された各認識結果情報を取得する認識結果取得手段と、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報を統合した新たな認識結果を出力する統合認識結果出力手段と、を実現させると共に、
前記認識結果取得手段は、前記複数の認識エンジンにて共通するデータ形式の前記認識結果情報を前記複数の認識エンジンからそれぞれ取得し、
前記統合認識結果出力手段は、前記各認識結果情報に基づいて当該各認識結果情報を統合して前記新たな認識結果として出力する、
ことを実現させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムであって、
前記統合認識結果出力手段は、前記各認識結果情報に予め定められた基準により相互に対応する情報が含まれている場合に、当該各認識結果情報を統合して前記新たな認識結果として出力する、
ことを実現させるためのプログラム。
【請求項１１】
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力され、前記複数の認識エンジンにて共通するデータ形式の各認識結果情報を取得し、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報に基づいて当該各認識結果情報を統合して新たな認識結果を出力する、
情報処理方法。
【請求項１２】
請求項１１に記載の情報処理方法であって、
前記各認識結果情報に予め定められた基準により相互に対応する情報が含まれている場合に、当該各認識結果情報を統合して前記新たな認識結果として出力する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置にかかり、特に、複数の認識エンジンによる認識結果を利用した新たな出力を行う情報処理装置に関する。
【背景技術】
【０００２】
情報処理技術の発達に伴い、様々な認識処理を行う認識エンジンの開発が行われている。例えば、静止画像データから人物を特定する認識エンジン、動画像データから人間の動線をトレースする位置情報を生成する認識エンジン、音声データからテキストデータを生成する認識エンジンなど、様々な認識エンジンが存在している。一例として、特許文献１には、画像認識や音声認識等の認識器を搭載しているロボットが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２８３９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したように様々な認識エンジンが開発されているものの、これら各認識エンジンは個別のアプリケーションに依存して特定のシステムに組み込まれているため、他の用途向けに再利用することが困難である。仮に再利用しようとした場合であっても、各認識エンジンの出力形式は当該認識エンジン毎に異なっているため、これらを利用可能な新たなシステムの開発に多大なコストがかかる。従って、複数の認識エンジンからの出力結果を利用した要求がアプリケーションからあった場合であっても、柔軟に対応することができず、また、そのようなシステム開発には多大なコストがかかる、という問題があった。【０００５】
このため、本発明の目的は、上述した課題である、低コストにて複数の認識エンジンからの出力結果を再利用することが困難であること、を解決することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一形態である情報処理装置は、
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力された各認識結果情報を取得する認識結果取得手段と、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報を統合した新たな認識結果を出力する統合認識結果出力手段と、を備え、
前記認識結果取得手段は、前記複数の認識エンジンにて共通するデータ形式の前記認識結果情報を前記複数の認識エンジンからそれぞれ取得し、
前記統合認識結果出力手段は、前記各認識結果情報に基づいて当該各認識結果情報を統合して前記新たな認識結果として出力する、
という構成を取る。【０００７】
また、本発明の他の形態であるプログラムは、
情報処理装置に、
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力された各認識結果情報を取得する認識結果取得手段と、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報を統合した新たな認識結果を出力する統合認識結果出力手段と、を実現させると共に、
前記認識結果取得手段は、前記複数の認識エンジンにて共通するデータ形式の前記認識結果情報を前記複数の認識エンジンからそれぞれ取得し、
前記統合認識結果出力手段は、前記各認識結果情報に基づいて当該各認識結果情報を統合して前記新たな認識結果として出力する、
ことを実現させるためのプログラムである。【０００８】
また、本発明の他の形態である情報処理方法は、
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力され、前記複数の認識エンジンにて共通するデータ形式の各認識結果情報を取得し、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報に基づいて当該各認識結果情報を統合して新たな認識結果を出力する、
という構成を取る。
【発明の効果】
【０００９】
本発明は、以上のような構成を取ることにより、低コストにて複数の認識エンジンからの出力結果を再利用することができる情報処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明における中間層装置の構成を示すブロック図である。
【図２】本発明の実施形態１における中間層装置に登録された認識結果の構造の一例を示す図である。
【図３】本発明の実施形態１における中間層装置に登録された認識結果の構造の一例を示す図である。
【図４】本発明の実施形態１における中間層装置に登録された認識結果の構造の一例を示す図である。
【図５】本発明の実施形態１における中間層装置の動作を示すフローチャートである。
【図６】本発明の実施形態１における中間層装置にて認識エンジンから取得した認識結果の一例を示す図である。
【図７】本発明の実施形態１における中間層装置にて認識エンジンから取得した認識結果の一例を示す図である。
【図８】本発明の実施形態１における中間層装置にて認識エンジンから取得した認識結果を統合するときの様子を示す図である。
【図９】本発明の実施形態１における中間層装置にて認識エンジンから取得した認識結果を統合したときの様子を示す図である。
【図１０】本発明の実施形態２における中間層装置に登録された認識結果の構造の一例を示す図である。
【図１１】本発明の実施形態２における中間層装置に登録された認識結果の構造の一例を示す図である。
【図１２】本発明の実施形態２における中間層装置にて認識エンジンから取得した認識結果を統合するときの様子を示す図である。
【図１３】本発明の実施形態２における中間層装置にて認識エンジンから取得した認識結果を統合したときの様子を示す図である。
【図１４】本発明の付記１における情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
＜実施形態１＞
本発明の第１の実施形態を、図１乃至図９を参照して説明する。図１乃至図４は、本実施形態における中間層装置の構成を説明するための図であり、図５乃至図９は、動作を説明するための図である。
【００１２】
［構成］
実施形態１における情報処理システムは、図１に示すように、複数の認識エンジン２１−２３と、これら認識エンジン２１−２３に接続された中間層装置１０と、この中間層装置１０に接続された情報処理端末に実装されたアプリケーション部３０と、により構成されている。
【００１３】
まず、上記認識エンジン２１−２３は、認識対象データに対してそれぞれ異なる認識処理を行う情報処理装置である。認識エンジン２１−２３としては、例えば、認識対象データである静止画像データや動画像データ、音声データなどから人物を特定する認識エンジンや、動画像データから人間の動線をトレースする位置情報を生成する認識エンジン、認識対象データである音声データからテキストデータを生成する認識エンジンなどがある。そして、本実施形態における認識エンジンは、動画像データ内から予め設定された人物を特定する人物認識エンジン（以下、符号２１で表す）と、動画像データ内から物体の移動軌跡を表す動線を認識する動線認識エンジン（以下、符号２２で表す）と、である。但し、認識エンジンは、上述した認識処理を行うものに限定されず、また、その数も上述した２つや図１で示す３つであることに限定されない。例えば、上記人物認識エンジンは、人物のみならず、予め設定された物体を特定する物体認識エンジンであってもよい。
【００１４】
具体的に、上記人物認識エンジン２１は、認識処理を要求された「特定の人物」の予め登録された特徴量データを、動画像データの各日時におけるフレーム画像内から検出する。そして、検出された場合には、その日時の動画像データを取得したカメラが設置された位置に「特定の人物」が所在していたことを認識し、当該認識した「特定の人物」に設定された人物識別情報（parson ID）と、検出した日時及び位置を表す所在情報とを、認識結果情報として出力する。なお、本実施形態における人物認識エンジン２１は、上述した認識結果情報を、後述するように中間層装置１０に予め登録されているデータ形式に対応して当該中間層装置１０に出力するが、そのデータ形式については後述する。
【００１５】
また、動線認識エンジン２２は、具体的に、動画像データ内で移動している物体を検出し、その物体を時系列的な移動軌跡を認識する。そして、移動している物体を識別する物体識別情報（object ID）と、検出された一連の移動軌跡を識別する移動軌跡識別情報（trajectory ID）と、検出された各日時とそのときの位置（座標）からなる動線情報とを、認識結果情報として出力する。なお、本実施形態における動線認識エンジン２２は、上述した認識結果情報を、後述するように中間層装置１０に予め登録されているデータ形式にて当該中間層装置１０に出力するが、そのデータ形式については後述する。
【００１６】
次に、アプリケーション部３０について説明する。アプリケーション部３０は、中間層装置１０に接続された情報処理端末に実装されており、上述した認識エンジン２１−２３による認識結果を中間層装置１０に要求する機能を有する。本実施形態では、特に、人物認識エンジン２１による認識結果と、動線認識エンジン２２による認識結果と、を再利用して統合した新たな認識結果を要求する。具体的に、本実施形態で説明する例では、アプリケーション部３０は、「特定の人物の動線」を中間層装置１０に要求する。
【００１７】
次に、中間層装置１０について説明する。中間層装置１０は、演算装置と記憶装置とを備えた情報処理装置である。そして、中間層装置１０は、図１に示すように、演算装置にプログラムが組み込まれることで構築された、認識エンジン出力取得部１１と、インスタンス・クラス対応判断部１２と、出力インスタンス保持部１３と、クラス構造登録部１５と、を備えている。また、中間層装置１０は、記憶装置にクラス構造保持部１４とクラスＩＤ保持部１６とを備えている。以下、各構成について詳述する。
【００１８】
まず、認識エンジン出力取得部１１（認識結果取得手段）は、上述したように、人物認識エンジン２１と動線認識エンジン２２から、それぞれが認識処理により生成した認識結果情報を取得する。すると、インスタンス・クラス対応判断部１２（認識結果取得手段）は、取得した各認識結果情報を、予め定義されたデータ形式を表すクラス構造にて保持する。
【００１９】
ここで、人物認識エンジン２１に対応する認識結果情報のデータ形式であり、例えばグラフ構造又は木構造で定義された認識結果定義情報であるクラス構造は、クラス構造登録部１５からクラス構造保持部１４（定義情報記憶手段）及びクラスＩＤ保持部１６に保存され定義されている。具体的に、人物認識エンジン２１に対応するクラス構造Ｃ１は、図２に示すように、検出された特定の人物を識別する人物識別情報（person ID）Ｃ１１の下位に、当該人物が検出された画像（フレーム）が撮影された位置の座標（Ｘ座標値、Ｙ座標値）及び日時（検知時刻）にて表される所在情報Ｃ１２を配置したグラフ構造にて定義されている。これにより、インスタンス・クラス対応判断部１２は、図６に示すように、人物認識エンジン２１に対応するクラス構造Ｃ１の人物識別情報（person ID）や位置等（Ｘ座標値、Ｙ座標値、検知時刻）に、実際に人物認識エンジン２１から取得した認識結果情報に含まれる値を当てはめて保持する。
【００２０】
また、動線認識エンジン２２に対応する認識結果情報のデータ形式であり、例えばグラフ構造又は木構造で定義する認識結果定義情報であるクラス構造Ｃ２は、図３に示すように、検出された移動する物体を識別する物体識別情報（object ID）Ｃ２１の下位に、その物体の一連の移動軌跡を識別する移動軌跡識別情報（trajectory ID）Ｃ２２を配置すると共に、さらにこの下位に、物体が検出された移動軌跡を形成する各日時（検知時刻）及びそのときの位置の座標（Ｘ座標値、Ｙ座標値）にて表される動線情報Ｃ２３を配置したグラフ構造にて定義されている。これにより、インスタンス・クラス対応判断部１２は、図７に示すように、動線認識エンジン２２に対応するクラス構造Ｃ２の物体識別情報（object ID）や位置等（Ｘ座標値、Ｙ座標値、検知時刻）に、実際に動線認識エンジン２２から取得した認識結果情報に含まれる値を当てはめて保持する。
【００２１】
そして、中間層装置１０が備える出力インスタンス保持部１３（統合認識結果出力手段）は、上述したように予め定義されたクラス構造Ｃ１，Ｃ２に当てはめて保持した人物認識エンジン２１からの認識結果情報と、動線認識エンジン２２からの認識結果情報と、を統合して新たな認識結果として保持する。具体的に、出力インスタンス保持部１３は、予めクラス構造保持部１４（定義情報記憶手段）及びクラスＩＤ保持部１６に記憶されており、各認識結果情報を統合する条件と統合後の新たな認識結果とを表すデータ形式である統合形式をグラフ構造又は木構造で表した統合定義情報であるクラス構造Ｃ３に従って、各認識結果情報の統合を行う。
【００２２】
ここで、各認識結果情報を統合する条件と統合後の新たな認識結果のデータ形式を表すクラス構造は、図４に示すように、人物認識エンジン２１からの認識結果Ｃ１の一部である検出された特定の人物を識別する人物識別情報（person ID）Ｃ１１に、動線認識エンジン２２からの認識結果Ｃ２の一部である移動軌跡識別情報（trajectory ID）Ｃ２２及び動線情報Ｃ２３を関連付けて統合する構造Ｃ３を表している。
【００２３】
このとき、上述したように各認識結果情報を統合する条件は、人物認識エンジン２１から出力された人物識別情報（person ID）Ｃ１１と、動線認識エンジン２２から出力された物体識別情報（object ID）Ｃ２１の一部と、が一致することである。これを判定するために、出力インスタンス保持部１３は、各エンジン２１，２２にて検出された各認識結果情報内に、予め定められた基準により相互に対応すると判断される情報があるか否かを調べる。具体的には、動線認識エンジン２２から出力された動線情報Ｃ２３内に、人物認識エンジン２１から出力された所在情報Ｃ１２つまり特定の人物が検出された日時及び位置と一致する情報があるかどうかを調べる。そして、出力インスタンス保持部１３は、所在情報Ｃ１２と動線情報Ｃ２３の一部とが一致した場合には、当該一致した所在情報Ｃ１２に対応する人物識別情報（person ID）Ｃ１１に、一致した動線情報Ｃ２３及びその上位の移動軌跡識別情報Ｃ２２を関連付けて、図９に示すように、新たな認識結果を保持する。
【００２４】
但し、各認識結果情報を統合する条件は、上述したように、各エンジン２１，２２にて検出された各認識結果情報内に相互に一致する情報があることに限定されない。例えば、動線認識エンジン２２から出力された動線情報Ｃ２３内に、人物認識エンジン２１から出力された所在情報Ｃ１２つまり特定の人物が検出された日時及び位置の「近傍」の情報がある場合に、上記動線情報Ｃ２３と所在情報Ｃ１２とが相互に対応すると判断して、その所在情報Ｃ１２に対応する人物識別情報Ｃ１１に、動線情報Ｃ２３及びその上位の移動軌跡識別情報Ｃ２２を関連付けて統合してもよい。このとき、特定の人物が検出された日時及び位置の「近傍」とは、例えば、検出された日時及び位置に対して予め設定された許容範囲内の日時及び位置を含むこととする。
【００２５】
なお、上記では、各認識エンジン２１，２２による認識結果情報のデータ形式や、出力インスタンス保持部１３による各認識結果情報の統合形式を、グラフ構造又は木構造で定義している場合を例示したが、別のデータ形式にて定義してもよい。
【００２６】
また、出力インスタンス保持部１３は、上述のように生成して保持した新たな認識結果を、アプリケーション部３０に出力する。
【００２７】
［動作］
次に、上述した情報処理システム、特に、中間層装置１０の動作を、図５のフローチャート及び図６乃至図９のデータ遷移図を参照して説明する。
【００２８】
まず、中間層装置１０は、アプリケーション部３０から認識結果の要求を受ける（ステップＳ１）。ここでは、「特定の人物の動線」といった認識結果の要求を受けたこととする。
【００２９】
続いて、中間層装置１０は、アプリケーション部３０から要求された認識結果を出力するために利用する各認識エンジンからの認識結果情報を取得する。本実施形態では、人物認識エンジン２１と、動線認識エンジン２２から、それぞれが認識処理により生成した各認識結果情報を取得する（ステップＳ２）。そして、中間層装置１０は、取得した各認識結果情報を、予め定義されたクラス構造に従って保持する。具体的に、人物認識エンジン２１から取得した認識結果情報を、図２に示す人物認識エンジンに対応したクラス構造Ｃ１に当てはめ、図６に示すように保持する。また、動線認識エンジン２２から取得した認識結果情報を、図２に示す動線認識エンジンに対応したクラス構造Ｃ２に当てはめ、図７に示すように保持する。
【００３０】
続いて、中間層装置１０は、図６，図７に示すように、各クラス構造Ｃ１’，Ｃ２’に当てはめて保持した人物認識エンジン２１及び動線認識エンジン２２からの各認識結果情報に含まれる人物識別情報（person ID）Ｃ１１’と物体識別情報（object ID）Ｃ２１’との同一性を調べる（ステップＳ３、図８の矢印Ｙ２参照）。具体的に、中間層装置１０は、図８の矢印Ｙ１に示すように、動線認識エンジン２２から出力された動線情報Ｃ２３’内に、人物認識エンジン２１から出力された所在情報Ｃ１２’と一致する情報があるかどうかを調べる。
【００３１】
中間層装置１０は、動線情報Ｃ２３’内に所在情報Ｃ１２’と一致する情報が存在した場合には、これら一致した各情報を含む人物識別情報（person ID）Ｃ１１’と物体識別情報（object ID）Ｃ２１’とが同一であると判断する。そして、中間層装置１０は、図９に示すように、人物識別情報（person ID）Ｃ１１’に、これと同一であると判断した物体識別情報（object ID）Ｃ２１’の下位に位置する移動軌跡識別情報Ｃ２２’及びさらにその下位に位置する動線情報Ｃ２３’を関連付けて統合し、新たな認識結果として保持する（ステップＳ４）。
【００３２】
その後、中間層装置１０は、上述したように生成して保持した新たな認識結果を、アプリケーション部３０に出力する（ステップＳ５）。
【００３３】
なお、上記では、人物認識エンジン２１から出力された所在情報Ｃ１２’と動線認識エンジン２２から出力された動線情報Ｃ２３’の一部とが一致する場合に、各エンジン２１，２２からの各認識結果を統合したが、統合する条件は上述したことに限定されない。例えば、人物認識エンジン２１からの認識結果情報に含まれる人物識別情報（person ID）Ｃ１１’と、動線認識エンジン２２からの認識結果情報に含まれる物体識別情報（object ID）Ｃ２１’と、が一致する場合に、上述したように各認識結果情報を統合してもよい。あるいは、上述したように、動線認識エンジン２２から出力された動線情報Ｃ２３’内に、人物認識エンジン２１から出力された所在情報Ｃ１２’の「近傍」の情報がある場合に、各認識結果情報を統合してもよい。
【００３４】
また、上記では、アプリケーション部３０から認識結果の要求を受けてから（ステップＳ１）、各認識エンジンから各認識結果を取得して（ステップＳ２）、当該各認識結果を合成する（ステップＳ４）、という手順で処理を行っているが、かかる手順で処理を実行することに限定されない。例えば、図５に示すステップＳ２，Ｓ３，Ｓ４の処理、つまり、各認識エンジンから各認識結果を取得して当該各認識結果を合成する処理を予め行って、合成された結果を中間層装置１０内に蓄積しておく。その後、アプリケーション部３０からの認識結果の要求を受けて、かかる要求に対応する合成結果を、蓄積されているデータ中から抽出して、アプリケーション部３０に対して出力する、という手順で処理を行ってもよい。
【００３５】
以上のように、本実施形態における中間層装置１０を設け、複数の認識エンジンで共通のデータ形式で認識結果情報を保持することで、各認識エンジンの認識結果を他の用途向けに再利用することが容易となる。従って、認識エンジンや認識結果を要求するアプリケーションの開発が容易となり、低コストにて認識エンジンの汎用性が向上する。
【００３６】
＜実施形態２＞
次に、本発明の第２の実施形態を、図１、図５、図１０乃至図１３を参照して説明する。図１は、本実施形態における中間層装置の構成を説明するための図であり、図５、図１０乃至図１３は、動作を説明するための図である。
【００３７】
［構成］
実施形態２における情報処理システムは、上述した実施形態１と同様に、図１に示すように、複数の認識エンジン２１−２３と、これら認識エンジン２１−２３に接続された中間層装置１０と、この中間層装置１０に接続された情報処理端末に実装されたアプリケーション部３０と、により構成されている。
【００３８】
そして、本実施形態における各認識エンジンは、いずれも認識対象データから人物を特定する人物認識エンジンであるが、それぞれ認識手法が異なる。例えば、第１の人物認識エンジン（以下、符号２１で表す）は、動画像データから予め設定された人物の顔の特徴データに基づいて、特定の人物を認識するものである。また、第２の人物認識エンジン（以下、符号２２で表す）は、音声データから予め設定された人物の声の特徴データに基づいて、特定の人物を認識するものである。さらに、第３の人物認識エンジン（以下、符号２３で表す）は、音声データから予め設定された発話内容（キーワード）に基づいて、特定の人物を認識するものである。但し、認識エンジンは、処理を行うものに限定されず、また、その数も上述した数に限定されない。例えば、上記人物認識エンジンは、人物のみならず、予め設定された物体を特定する物体認識エンジンであってもよい。
【００３９】
そして、本実施形態における各人物認識エンジン２１，２２，２３は、認識結果情報を中間層装置１０に予め登録されている共通のデータ形式にて当該中間層装置１０に出力する。具体的に、各人物認識エンジン２１，２２，２３は、各認識手法により認識した結果、候補となる単数あるいは複数の人物を特定する情報からなる人物候補情報を、認識結果情報として出力する。
【００４０】
これに対応して、中間層装置１０は、各人物認識エンジン２１，２２，２３に対応する各認識結果情報のデータ形式を定義した、例えばグラフ構造又は木構造の認識結果定義情報であるクラス構造Ｃ１０１を、図１０に示すようにクラス構造保持部１４等に記憶している。具体的に、各人物認識エンジン２１，２２，２３に対応するクラス構造Ｃ１０１は、図１０に示すように、認識処理を行った人物認識エンジンを識別するエンジン識別情報Ｃ１１０の下位に、認識候補となる単数あるいは複数の人物を識別する人物識別情報Ｃ１１１，Ｃ１１２，Ｃ１１３を配置したグラフ構造にて定義されている。なお、ここでは、認識処理によって候補となる可能性が高い順から３人の人物の人物識別情報が、上から順番に配置されて格納されるよう定義されている。これにより、中間層装置１０のインスタンス・クラス対応判断部１２は、認識エンジン出力取得部１１にて各人物認識エンジン２１，２２，２３から取得した認識結果情報を、図１２の符号Ｃ１０１−１，Ｃ１０１−２，Ｃ１０１−３に示すように、各人物認識エンジン２１，２２，２３毎にクラス構造Ｃ１０１に当てはめて保持する。
【００４１】
そして、中間層装置１０が備える出力インスタンス保持部１３は、上述したように予め定義されたクラス構造Ｃ１０１に当てはめて保持した各人物認識エンジン２１，２２，２３からの認識結果情報を統合して、新たな認識結果として保持する。具体的に、出力インスタンス保持部１３は、予めクラス構造保持部１４等に定義されており、各認識結果情報を統合する条件と統合後の新たな認識結果を表すデータ形式である統合形式をグラフ構造又は木構造で定義する統合定義情報であるクラス構造Ｃ１０２に従って、各認識結果情報の統合を行う。
【００４２】
ここで、各認識結果情報を統合する条件と統合後の新たな認識結果のデータ形式を表すクラス構造は、図１１に示すように、各人物認識エンジン２１，２２，２３からの認識結果情報Ｃ１２０である候補とされた人物の人物識別情報のうち、一人の人物識別情報（person ID）Ｃ１２１を特定するよう統合する構造を表している。
【００４３】
このとき、上述したように各認識結果情報を統合する条件は、異なる人物認識エンジン２１，２２，２３から出力された各人物識別情報（person ID）の相互間で一致する人物識別情報が存在することである。これを判定するために、出力インスタンス保持部１３は、各エンジン２１，２２にてそれぞれ出力された各認識結果情報内に、予め定められた基準により相互に対応すると判断される人物識別情報があるか否かを調べる。具体的には、３つの人物認識エンジン２１，２２，２３からそれぞれ出力された３つの認識結果情報の全てに、同一の人物識別情報があるかどうかを調べ、同一の人物識別情報（person ID）を特定し、この人物識別情報を新たな認識結果として保持する。
【００４４】
但し、各認識結果情報を統合する条件は、上述したように、各エンジン２１，２２，２３にて検出された各認識結果情報内に相互に一致する情報があることに限定されない。例えば、まず、検出した各人物識別情報（person ID）に対応する人物のデータから抽出された特徴値データである各属性情報の類似性を、予め定められた基準に従って判定する。そして、かかる基準にて類似性度合が予め設定された範囲内である場合には、各人物識別情報の人物が同一人物であると判断する。
【００４５】
なお、上記では、各認識エンジン２１，２２，２３による認識結果情報のデータ形式や、出力インスタンス保持部１３による各認識結果情報の統合形式を、グラフ構造又は木構造で定義している場合を例示したが、別のデータ形式にて定義してもよい。
【００４６】
また、出力インスタンス保持部１３は、上述のように生成して保持した新たな認識結果を、アプリケーション部３０に出力する。
【００４７】
［動作］
次に、上述した情報処理システム、特に、中間層装置１０の動作を、図５のフローチャート及び図１０乃至図１３のデータ遷移図を参照して説明する。
【００４８】
まず、中間層装置１０は、アプリケーション部３０から認識結果の要求を受ける（ステップＳ１）。例えば、「人物を特定」といった認識結果の要求を受けたこととする。
【００４９】
続いて、中間層装置１０は、アプリケーション部３０から要求された認識結果を出力するために利用する各認識エンジンからの認識結果情報を取得する（ステップＳ２）。そして、中間層装置１０は、取得した各認識結果情報を、予め定義されたクラス構造に従って保持する。
【００５０】
具体的に、本実施形態では、動画像データから人物の顔の特徴データに基づいて人物を認識する第１の人物認識エンジン２１から取得した候補となる３つの人物識別情報を、図１２の符号Ｃ１０１−１に示すようにクラス構造に当てはめて保持する。また、音声データから人物の声の特徴データに基づいて人物を認識する第２の人物認識エンジン２２から取得した候補となる３つの人物識別情報を、図１２の符号Ｃ１０１−２に示すようにクラス構造に当てはめて保持する。さらに、音声データから発話内容（キーワード）に基づいて人物を認識する第３の人物認識エンジン２３から取得した候補となる３つの人物識別情報を、図１２の符号Ｃ１０１−３に示すようにクラス構造に当てはめて保持する。
【００５１】
続いて、中間層装置１０は、図１２に示すように、定義されたクラス構造に当てはめて保持した各人物認識エンジン２１，２２，２３からのそれぞれ候補となる人物識別情報（person ID）Ｃ１１１−１〜Ｃ１１３−１，Ｃ１１１−２〜Ｃ１１３−２，Ｃ１１１−３〜Ｃ１１３−３の中で、相互に対応するもの、ここでは共通する人物識別情報を調べる（ステップＳ３）。すると、図１２に示す例では、全ての認識結果情報で、符号Ｃ１１１−１，Ｃ１１２−２，Ｃ１１１−３に示すように「Person-A」の人物識別情報が共通するため、図１３に示すように「Person-A」で表される１人の人物識別情報Ｃ１２１’に、認識結果を統合する（ステップＳ４）。あるいは、各人物識別情報に付随する各属性情報の類似性を判定し、類似性度合が基準よりも高い場合に、各人物識別情報の一の人物が同一人物であると判断して、認識結果を統合してもよい。
【００５２】
なお、上記では、アプリケーション部３０から認識結果の要求を受けてから（ステップＳ１）、各認識エンジンから各認識結果を取得して（ステップＳ２）、当該各認識結果を合成する（ステップＳ４）、という手順で処理を行っているが、かかる手順で処理を実行することに限定されない。例えば、まず、各認識エンジンから各認識結果を取得して当該各認識結果を合成する処理を予め行って、合成された結果を中間層装置１０内に蓄積しておく。その後、アプリケーション部３０からの認識結果の要求を受けて、かかる要求に対応する合成結果を蓄積されているデータの中から抽出して、アプリケーション部３０に対して出力する、という手順で処理を行ってもよい。
【００５３】
その後、中間層装置１０は、上述したように生成して保持した新たな認識結果を、アプリケーション部３０に出力する（ステップＳ５）。
【００５４】
以上のように、本実施形態における中間層装置１０を設け、複数の認識エンジンで共通のデータ形式で認識結果情報を保持することで、各認識エンジンの認識結果を他の用途向けに再利用することが容易となる。従って、認識エンジンや認識結果を要求するアプリケーションの開発が容易となり、低コストにて認識エンジンの汎用性が向上する。
【００５５】
なお、上記では、各人物認識エンジン２１，２２，２３から出力された候補となる人物のうち、全てに共通して含まれる人物を特定するよう認識結果を統合したが、統合する条件は上述したことに限定されない。例えば、認識エンジンの数に対して過半数の認識エンジンからの認識結果に含まれている人物を特定するよう認識結果を統合するなど、他の方法にて認識結果を統合してもよい。また、上記では、各人物認識エンジン２１，２２，２３が３人の候補となる人物を認識結果として出力している場合を例示したが、１人の候補のみを認識結果としてもよく、他の複数の候補を認識結果としてもよい。
【００５６】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置の構成の概略を、図１４を参照して説明する。但し、本発明は、以下の構成に限定されない。
【００５７】
（付記１）
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジン２１１，２１２，２１３から出力された各認識結果情報を取得する認識結果取得手段２０１と、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報を統合した新たな認識結果を出力する統合認識結果出力手段２０２と、を備え、
前記認識結果取得手段２０１は、前記複数の認識エンジンにて共通するデータ形式の前記認識結果情報を前記複数の認識エンジンからそれぞれ取得し、
前記統合認識結果出力手段２０２は、前記各認識結果情報に基づいて当該各認識結果情報を統合して前記新たな認識結果として出力する、
情報処理装置２００。
【００５８】
（付記２）
付記１に記載の情報処理装置であって、
前記統合認識結果出力手段は、前記各認識結果情報に予め定められた基準により相互に対応する情報が含まれている場合に、当該各認識結果情報を統合して前記新たな認識結果として出力する、
情報処理装置。
【００５９】
（付記３）
付記１又は２に記載の情報処理装置であって、
前記認識結果取得手段にて前記複数の認識エンジンからそれぞれ取得する前記認識結果情報のデータ形式を定義する認識結果定義情報と、前記統合認識結果出力手段にて前記各認識結果情報を統合する際の統合形式を定義する統合定義情報と、を記憶した定義情報記憶手段を備え、
前記認識結果取得手段は、前記認識結果定義情報にて定義されたデータ形式にて前記各認識結果情報を取得し、
前記統合認識結果出力手段は、前記統合定義情報にて定義された統合形式にて前記各認識結果情報を統合して前記新たな認識結果を出力する、
情報処理装置。
【００６０】
（付記４）
付記１乃至３のいずれかに記載の情報処理装置であって、
前記認識結果取得手段にて前記複数の認識エンジンからそれぞれ取得する前記認識結果情報は、グラフ構造又は木構造のデータ形式である、
情報処理装置。
【００６１】
（付記５）
付記２に記載の情報処理装置であって、
前記認識結果取得手段は、前記認識対象データから物体を認識する物体認識エンジンと、前記認識対象データから所定の物体の移動軌跡を表す動線を認識する動線認識エンジンと、から前記認識結果情報をそれぞれ取得し、
前記統合認識結果出力手段は、前記物体認識エンジンから取得した前記認識結果情報である物体情報に、前記動線認識エンジンから取得した前記認識結果情報である所定の物体の動線情報を関連付けて統合し、前記新たな認識結果として出力する、
情報処理装置。
【００６２】
（付記６）
付記５に記載の情報処理装置であって、
前記認識結果取得手段は、前記物体認識エンジンが前記認識対象データから認識した物体の位置とその日時を表す所在情報を含む前記認識結果情報を前記物体認識エンジンから取得すると共に、前記動線認識エンジンが前記認識対象データから認識した所定の物体の動線情報を前記動線認識エンジンから取得し、
前記統合認識結果取得手段は、前記物体認識エンジンから取得した前記所在情報に予め定められた基準により対応する情報が前記動線認識エンジンから取得した前記動線情報に含まれている場合に、前記所在情報に対応する情報が含まれた前記物体認識エンジンからの前記認識結果情報にて特定される物体情報に、前記動線認識エンジンからの前記認識結果である前記動線情報を関連付けて統合し、前記新たな認識結果として出力する、
情報処理装置。
【００６３】
（付記７）
付記２に記載の情報処理装置であって、
前記認識結果取得手段は、前記認識対象データからそれぞれ異なる認識処理にて物体を認識する複数の物体認識エンジンから前記認識結果情報をそれぞれ取得し、
前記統合認識結果出力手段は、前記複数の物体認識エンジンからそれぞれ取得した前記各認識結果情報である各物体情報に基づいて一の物体情報を特定して統合し、前記新たな認識結果を出力する、
情報処理装置。
【００６４】
（付記８）
付記７に記載の情報処理装置であって、
前記認識結果取得手段は、前記複数の物体認識エンジンが前記認識対象データから認識した物体の候補を表す物体候補情報を含む前記認識結果情報を前記複数の物体認識エンジンからそれぞれ取得し、
前記統合認識結果取得手段は、前記複数の物体認識エンジンからそれぞれ取得した前記各物体候補情報で予め定められた基準により相互に対応する物体情報を特定して、前記新たな認識結果として出力する、
情報処理装置。
【００６５】
（付記９）
情報処理装置に、
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力された各認識結果情報を取得する認識結果取得手段と、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報を統合した新たな認識結果を出力する統合認識結果出力手段と、を実現させると共に、
前記認識結果取得手段は、前記複数の認識エンジンにて共通するデータ形式の前記認識結果情報を前記複数の認識エンジンからそれぞれ取得し、
前記統合認識結果出力手段は、前記各認識結果情報に基づいて当該各認識結果情報を統合して前記新たな認識結果として出力する、
ことを実現させるためのプログラム。
【００６６】
（付記１０）
付記９に記載のプログラムであって、
前記統合認識結果出力手段は、前記各認識結果情報に予め定められた基準により相互に対応する情報が含まれている場合に、当該各認識結果情報を統合して前記新たな認識結果として出力する、
ことを実現させるためのプログラム。
【００６７】
（付記１１）
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力され、前記複数の認識エンジンにて共通するデータ形式の各認識結果情報を取得し、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報に基づいて当該各認識結果情報を統合して新たな認識結果を出力する、
情報処理方法。
【００６８】
（付記１２）
付記１１に記載の情報処理方法であって、
前記各認識結果情報に予め定められた基準により相互に対応する情報が含まれている場合に、当該各認識結果情報を統合して前記新たな認識結果として出力する、
情報処理方法。
【００６９】
（付記１３）
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力された各認識結果情報を取得する認識結果取得手段と、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報を統合した新たな認識結果を出力する統合認識結果出力手段と、を備え、
前記認識結果取得手段は、前記認識対象データから物体を認識する物体認識エンジンが前記認識対象データから認識した物体の位置とその日時を表す所在情報を含む前記認識結果情報であり前記複数の認識エンジンにて共通するデータ形式の前記認識結果情報を、前記物体認識エンジンから取得すると共に、前記認識対象データから所定の物体の移動軌跡を表す動線を認識する動線認識エンジンが前記認識対象データから認識した所定の物体の動線情報を含む前記認識結果情報であり前記複数の認識エンジンにて共通するデータ形式の前記認識結果情報を、前記動線認識エンジンから取得し、
前記統合認識結果出力手段は、前記物体認識エンジンから取得した前記所在情報に予め定められた基準により対応する情報が前記動線認識エンジンから取得した前記動線情報に含まれている場合に、前記所在情報に対応する情報が含まれた前記物体認識エンジンからの前記認識結果情報にて特定される物体情報に、前記動線認識エンジンからの前記認識結果である前記動線情報を関連付けて統合し、前記新たな認識結果として出力する、
情報処理装置。
【００７０】
（付記１４）
認識対象データに対してそれぞれ異なる認識処理を行う複数の認識エンジンから出力された各認識結果情報を取得する認識結果取得手段と、
前記複数の認識エンジンからそれぞれ取得した前記各認識結果情報を統合した新たな認識結果を出力する統合認識結果出力手段と、を備え、
前記認識結果取得手段は、前記認識対象データからそれぞれ異なる認識処理にて物体を認識する複数の物体認識エンジンが前記認識対象データから認識した物体の候補を表す物体候補情報を含む前記認識結果情報であり前記複数の認識エンジンにて共通するデータ形式の前記認識結果情報を、前記複数の物体認識エンジンからそれぞれ取得し、
前記統合認識結果出力手段は、前記複数の物体認識エンジンからそれぞれ取得した前記各物体候補情報で予め定められた基準により相互に対応する一の物体情報を特定して統合し、前記新たな認識結果として出力する、
情報処理装置。
【００７１】
なお、上記各実施形態においてプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【００７２】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【００７３】
なお、本発明は、日本国にて２０１１年２月１７日に特許出願された特願２０１１−３１６１３の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【符号の説明】
【００７４】
１０  中間層装置
１１  認識エンジン出力取得部
１２  インスタンス・クラス対応判断部
１３  出力インスタンス保持部
１４  クラス構造保持部
１５  クラス構造登録部
１６  クラスＩＤ保持部
２１，２２，２３  認識エンジン
３０  アプリケーション部
２００  情報処理装置
２０１  認識結果取得手段
２０２  統合認識結果出力手段
２１１，２１２，２１３  認識エンジン
【図１】
2012111252.tif 000003
【図２】
2012111252.tif 000004
【図３】
2012111252.tif 000005
【図４】
2012111252.tif 000006
【図５】
2012111252.tif 000007
【図６】
2012111252.tif 000008
【図７】
2012111252.tif 000009
【図８】
2012111252.tif 000010
【図９】
2012111252.tif 000011
【図１０】
2012111252.tif 000012
【図１１】
2012111252.tif 000013
【図１２】
2012111252.tif 000014
【図１３】
2012111252.tif 000015
【図１４】
2012111252.tif 000016
【国際調査報告】
2012111252.tif 000017
2012111252.tif 000018
2012111252.tif 000019