(57)【要約】  映像ベースの対象物特定化、分類、識別、及び存在反応、又はこれらのいずれかを提供する方法、システム、装置、回路、及び関連するコンピュータで実行可能な符号が開示される。一部の実施形態においては、映像取得モジュール、映像解析モジュール、及び対象物存在反応モジュールを含むシステムが提供される。
2014533851.tif 000002
【特許請求の範囲】
【請求項１】
一連の映像中にある対象物の例から対象物の特徴を抽出し、抽出された特徴を基に一以上の対象物指標を生成する映像解析モジュールと、
生成された前記一以上の対象物指標を、参照指標の特定の集合が特定の対象物又は対象物のグループと関連付けされている参照指標データベース内の参照指標と相互に関連付けを行うよう構成された識別又は分類モジュールと、
特定の対象物または対象物のグループの識別に対してシステムの反応を生成するよう構成された存在反応モジュールを備えた、映像ベース対象物反応システム。
【請求項２】
少なくとも一つの前記指標が対象物の運動力学を示すものである、請求項１に記載のシステム。
【請求項３】
前記対象物の運動力学は少なくとも一つの身体部位別運動プロファイルを含むものである、請求項２に記載のシステム。
【請求項４】
前記対象物の運動力学は少なくとも一つの身体部位別頻度係数を含むものである、請求項２に記載のシステム。
【請求項５】
映像取得サブシステムを更に備え、前記存在反応モジュールは前記システムと関連付けされた場所のセキュリティ条件を変更させるための信号を生成するよう構成されている、請求項１に記載のシステム。
【請求項６】
参照指標の集合が、特定の禁止又は制限されたグループ又は対象物の集合と関連付けされている、請求項５に記載のシステム。
【請求項７】
映像取得サブシステムを更に備え、前記存在反応モジュールは前記システムと関連付けされた場所の環境条件を変更させるための信号を生成するよう構成されている、請求項１に記載のシステム。
【請求項８】
参照指標の一つの集合が、一人の家族構成員と関連付けされている、請求項７に記載のシステム。
【請求項９】
映像取得サブシステムを更に備え、前記存在反応モジュールは前記システムと関連付けされたディスプレイにコンテンツを表示させる又はコンテンツを変更させるための信号を生成するよう構成されている、請求項１に記載のシステム。
【請求項１０】
参照指標の一つの集合が、特定の人口層と関連付けされている、請求項９に記載のシステム。
【請求項１１】
前記識別又は分類モジュールは、生成された前記一以上の対象物指標と参照指標の集合との間で部分的一致を実行するよう構成されている、請求項１に記載のシステム。
【請求項１２】
前記識別又は分類モジュールは、参照指標の集合を更新又は追加するよう構成されている、請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にコンピュータ演算、ヒューマンマシン・インタフェース、監視、セキュリティ、メディア及び自動制御システムの分野に関する。より具体的には、本発明は、映像に基づく対象物特定化、分類、識別、及び存在応答又はそのいずれかを提供する方法、システム、装置、回路、及び関連するコンピュータで実行可能な符号に関する。
【背景技術】
【０００２】
映像に基づく対象人物（対象物）の観察は、１９４０年代に遡る。コンピュータ映像は、数値情報又は記号情報を作り出すために画像及び一般的に高次元なデータを現実世界から取得、処理、分析、及び理解するための方法を含む分野である。画像の理解とは、幾何学、物理学、統計学、及び学習理論を用いて構築されたモデルを使って画像データから記号情報を読み解くことであると考えられる。コンピュータ映像の適用は、生産ラインを高速で通過する瓶を検査する工業機械映像システムといった業務から、周辺環境を理解可能な人工知能及びコンピュータ又はロボットにまで及ぶ。コンピュータ映像とその抽出物、又はその一方は、コンピュータ機器に関連付けされた映像カメラの視界内において、手振りによりコンピュータ機器を制御したりこれと相互動作を行ったりする能力をユーザに与える映像ベースのヒューマンマシン・インタフェース・システムの一部としても利用することが出来る。コンピュータ映像とその抽出物又はその一方は更に、入力映像又は映像記録から個人を識別し、その活動を特定化可能な映像監視ベースのセキュリティ・システムの一部としても選択的に利用することが出来る。
【０００３】
家屋、建物、設備、外構、及び／又はいかなる種類の場所においてこれらと関連する様々な部分及び機器について、コンピュータ化された動的制御が望まれる。更に、機器や各部分の制御は、家屋、建物、設備、外構、及び／又はその他のいかなる種類の場所において、もしくはこれらの近辺において、対象物の固有性又は特徴に応じたものとなるよう、家屋、建物、設備、外構、及び／又はその他のいかなる種類の場所においてこれらと関連する様々な部分及び機器に関連して対象物別にコンピュータ化或いは自動化されて提供されることが望ましい。また更に、セキュリティ装置の制御や状態は、家屋、建物、設備、外構、及び／又はその他のいかなる種類の場所において、もしくはこれらの近辺において、対象物の固有性又は特徴に応じたものとなるよう、家屋、建物、設備、外構、及び／又はその他のいかなる種類の場所においてこれらと関連する各部分及び機器に関連して対象物別にコンピュータ化或いは自動化されて提供されることが望ましい。
【発明の概要】
【０００４】
本発明は、映像ベースの対象物特定化、分類、識別、及び存在反応、又はこれらのいずれかを提供する方法、システム、装置、回路、及び関連するコンピュータで実行可能な符号を含む。更なる実施形態によれば、視覚的に検出可能な特徴及び対象物に関連する指標、又はこれらのいずれかに基づく対象物の体感をカスタマイズするよう構成されたシステムが提供され得る。一部の実施形態によれば、カメラ、映像回路及びポートを含む、対象物（例、人物、大人、子供等）の複数画像の集合を取り込むよう構成された一以上の映像取得サブシステムが提供される。この一以上の映像取得サブシステムは、一体型であっても、或いは映像解析サブシステムと機能的に連携されているものであってもよい。この映像解析サブシステムは各種画像処理モジュール、論理積回路を含むものであって、対象物の高さ、幅、大きさ、手足の大きさ、手足の大きさ比率、胴の大きさに対する手足の比率、手足の異なる部分間の運動の角度範囲、頭部の大きさ、頭部の動き、髪色及び髪型、顔面の特徴、服装の種類及び着方、特有の身につける装身具といった、対象物の視覚的に検出可能な静的及び動的又はそのいずれかの特徴を一以上、取得した複数画像の集合から抽出、推定、又は判断するよう構成されたものであってもよい。対象物の抽出された特徴は分析され、対象物の（１）年齢、（２）性別、（３）人種、（４）人口層、（５）身体的属性、（６）運動属性、（７）身体的条件、（８）精神的状態、（９）及び現在の意思を示す対象物指標もしくは対象物パラメータを一以上生成するよう特定化又は数値化することが出来る。対象物の動的（運動）特徴から抽出された一部の指標又は指標の集合は、身体部位の運動プロファイル、身体部位の運動プロファイルの組み合わせ、及び運動頻度係数を含むそれらからの抽出物を含むものであってもよい。
【０００５】
対象物識別・分類サブシステムは、抽出された対象物指標を受け取って対象物指標の指標参照データベースにアクセスし、一連の映像中に画像が存在する対象物を識別及び分類、又はその一方を行うよう構成されたモジュール、論理積回路により構成されたものであってもよい。識別・分類サブシステムは、受け取った対象物指標を指標参照データベース内の参照対象物・分類指標と相互の関連付けを試行するものであってもよい。参照データベース内に保存される参照対象物指標は、特定の対象物（例、ドール・ギボンという名前の個人）又はグループ、対象物のタイプ又はカテゴリー（例、男性、アジア系、大人）と関連付けされたものであってもよい。
【０００６】
受け取った対象物指標の集合と参照データベースに保存された参照指標の相互関係は、完全な相互関係であっても、部分的な相互関係であってもよい。特定の状況において、ある追跡中の対象物（個人）に対して受け取った対象物指標の集合が、参照データベース内における当該対象物に対して保存された参照指標の集合より小さいものであってもよい。そのような場合、受け取った指標と参照指標の間での部分的な一致であっても（選択的に、対応する指標間での一致の程度が十分である場合にのみ）、識別又は分類が可能であってもよい。他の例では、ある追跡中の対象物（個人）に対して受け取った対象物指標の集合が、参照データベース内における当該対象物に対して保存された参照指標の集合より大きいものであってもよい。そのような場合、受け取った指標と参照指標の間で一旦一致がなされ（選択的に、対応する指標間での一致の程度が十分である場合にのみ）、個人対象物が識別された場合に、解析サブシステムから受け取った新規又は更新後の、又はその両方の対象物指標を含むよう、参照指標データベース内の当該対象物の記録が更新されるものであってもよい。
【０００７】
対象物の識別又は分類に基づき、対象物反応サブシステムは以下の一以上を変更又は発生させるものであってもよい。（１）対象物の近辺もしくはこれに関連する場所にある建物、環境、周辺にメディア及びコンテンツ又はその一方を表示、（２）対象物の近辺もしくはこれに関連する場所にある建物、環境、周辺の環境条件、及び（３）対象物の近辺もしくはこれに関連する場所にある建物、環境、周辺のセキュリティ状態又は条件。特定の識別された対象物又は特定のグループに所属すると分類された対象物、又は特定の種類の対象物に対する反応は、機能的に関連付けされた反応データベースに保存されたプロファイル又はルールの集合に基づくものであってもよい。
【０００８】
一部の実施形態によれば、視覚的に検出された特徴は静的及び動的な特徴、或いはその一方であってもよい。対象物指標又は対象物パラメータの判断に、静的特徴又は動的特徴のいかなる組み合わせが取得及び解析されてもよい。取得された静的又は動的特徴、又はこれらの組み合わせは、対象物の高さ、幅、大きさ、手足の大きさ、手足の大きさ比率、胴の大きさに対する手足の比率、胴の動き、手足の異なる部分間の運動の角度範囲、手足部分と胴の間の運動の角度範囲、頭部の大きさ、頭部の動き、髪色及び髪型、顔面の特徴、服装の種類及び着方、特有の身につける装身具を含むものであってもよい。その他の視覚的に検出可能な特徴又は特徴の組み合わせは、今日既知の、又は将来的に発見或いは考案されることとなるその他の視覚的に検出可能ないかなる特徴又は特徴の組み合わせも本発明に適用することが出来る。
【０００９】
本発明の更なる実施形態は、対象物の運動力学といった対象物の視覚的に検出可能な動的特徴に基づき映像ベースの個人監視、識別、及び分類又はこれらのいずれかを提供する方法、システム、装置、回路、及び関連するコンピュータで実行可能な符号を含むものであってもよい。一部の実施形態によれば、一連の映像内にて動きのある個人の事例の時空特性を、（１）一以上の身体部位別運動プロファイル（Ｂｏｄｙ  Ｐａｒｔ  Ｓｐｅｃｉｆｉｃ  Ｍｏｔｉｏｎ  Ｐｒｏｉｌｅｓ）（ＢＰＳＭＰ）、（２）身体部位別頻度係数（Ｂｏｄｙ  Ｐａｒｔ  Ｓｐｅｃｉｆｉｃ  Ｆｒｅｑｕｅｎｃｙ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）（ＢＰＳＦＣ）の両方又はいずれか一方に変換することが出来る。ＢＰＳＭＰ又は頻度係数の一方を、対象物指標として保存し、別の一連の映像中に与えられた対象物又は個人の事例を識別するための参照用として用いることが出来る。更なる実施形態によれば、一連の映像中の個人の手足、胴、また選択的には頭部もしくは頸部（身体部位と呼ぶ）の一以上について、当該個人が動いている間に個別に追跡することが出来る。身体部位の動きの追跡は分析され、追跡された一以上の身体部位について運動プロファイルの生成に用いることが出来る。身体部位別運動プロファイルは、対象物が歩行中、走行中、又はその他の動きを行っている間に繰り返される身体部位の運動を示すものであってもよい。更に、追跡された各身体部位に対して一又は集合による運動関連の頻度係数を生成するために、一以上の運動プロファイルを用いてもよい。与えられた身体部位と関連付けされた運動関連の頻度係数を、身体部位別頻度係数（Ｂｏｄｙ  Ｐａｒｔ  Ｓｐｅｃｉｆｉｃ  Ｆｒｅｑｕｅｎｃｙ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）と呼び、追跡された各身体部位に対して一以上のＢＰＳＦＣを生成することが出来る。追跡された各手足、胴、頭部に対する一以上のＢＰＳＦＣは、個人対象物が歩行中又は走行中等の運動中にある間に、当該追跡部位に存在する時空パターン（例、周期的又は繰り返しの運動）を示すものであってもよい。
【００１０】
個人の身体部位別運動プロファイルＢＰＳＭＰ（例、（１）右腕、右脚、及び頭部、（２）右腕、左腕、左脚、及び右肩）の一つ又はこれらの集合は保存してインデックス付けを行うことが出来、更に、後に運動特徴的ベクタ（Ｍｏｔｉｏｎ  Ｓｉｇｎａｔｕｒｅ  Ｖｅｃｔｏｒ）ＭＳＶの一部として参照することが出来る。同一個人の異なる身体部位（例、（１）右腕、右脚、及び頭部、（２）右腕、左腕、左脚及び右肩）に関するＢＰＳＦＣの組み合わせ又は集合についてもまた、保存しインデックス付けを行うことが出来、更に同一の個人に対する同一又は異なる運動特徴的ベクタ（Ｍｏｔｉｏｎ  Ｓｉｇｎａｔｕｒｅ  Ｖｅｃｔｏｒ）ＭＳＶの一部として参照することが出来る。このため、保存された参照ＭＳＶの対応するＢＰＳＭＰ及びＢＰＳＦＣ又はどちらか一方と、映像追跡される個人から抽出された対応するプロファイル及びＢＰＳＦＣとが一致或いは実質的に一致する場合に、映像追跡される人物が参照ＭＳＶの基となった人物と同じであることを示すことが出来る。
【００１１】
参照ＢＰＳＭＰ値の範囲及び参照ＢＰＳＦＣ値の範囲、又はこれらの組み合わせは、年齢層、性別、人種等を含む特定の対象物分類を示すものであってもよい。このため、特定の対象物の一連の映像から抽出され、特定の分類（例、年齢層、性別、人種等）と関連付けされて定義された特定の参照範囲内のＢＰＳＭＰ値及びＢＰＳＦＣ値又はその一方を含むＭＳＶは、一連の映像中の該対象物が該特定の分類（例、年齢層、性別、人種等）に属することを示すことが出来る。
【図面の簡単な説明】
【００１２】
本発明の主題については、本明細書の結びの部分において特定され明示的に主張される。しかしながら本発明は、その目的、特徴、及び効果と併せて、構成及び処理方法の両方について、以下に挙げる添付の図面と共に下記の詳細な説明を読むことによって最良の理解を得ることが可能となる。
【００１３】
【図１Ａ】図１Ａは、映像取得サブ・サブシステム、映像解析サブシステム、対象物・分類識別サブシステム、及び対象物反応サブシステムを含む実施形態による、映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）の機能ブロック図の例である。
【図１Ｂ】図１Ｂは、実施形態による対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）の包括的な処理方法のステップを含むフローチャートであり、当該包括的処理とは、一連の映像における対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析と、対象物を識別又は分類するために対象物・分類指標データベースを参照すること、取得した一連の映像における対象物の識別又は分類に反応するため対象物・分類参照データベースを参照することを含むものである。
【図１Ｃ】図１Ｃは、実施形態による映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）の対象登録方法のステップを含むフローチャートであり、当該登録処理とは、与えられた対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析、与えられた対象物に関連する一以上の記録を、抽出された特徴を以て更新すること、対象物・種類プロファイルデータベース内の一以上の記録を、与えられた対象物の将来的な検出の際に起こる反応を示すデータを以て更新することを含むものである。
【図２】図２は、実施形態による映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）のセキュリティ関連処理のステップを含むフローチャートであり、当該処理とは、一連の映像における対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析、対象物指標の生成、対象物を識別又は分類するために指標参照データベースを参照すること、及び取得した一連の映像における対象物の識別又は分類に対応するためにセキュリティプロファイルデータベースを参照することを含むものである。
【図３】図３は、実施形態による映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）の環境関連処理のステップを含むフローチャートであり、当該処理は一連の映像における対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析、対象物指標の生成、及び取得した一連の映像における対象物の識別又は分類に対応するために環境プロファイルデータベースを参照することを含むものである。
【図４】図４は、実施形態による映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）のコンテンツ存在関連処理のステップを含むフローチャートであり、当該処理は、一連の映像における対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析、対象物指標の生成、取得した一連の映像における対象物の識別又は分類に対応するためにコンテンツプロファイルデータベースを参照することを含むものである。
【図５】図５は、（１）静的及び動的特徴が一連の映像から抽出されること、（２）対象物指標が生成され本発明の実施形態による参照指標として又は参照指標と共に使用されることによる処理のステップを含むフローチャートである。
【図６Ａ】図６Ａは、従来の監視映像から静的及び動的な対象物の特徴抽出を示す一連の画像の例である。
【図６Ｂ】図６Ｂは、従来の監視映像から静的及び動的な対象物の特徴抽出を示す一連の画像の例である。
【図６Ｃ】図６Ｃは、従来の監視映像から静的及び動的な対象物の特徴抽出を示す一連の画像の例である。
【図７】図７は、従来の一連の映像を身体部位別運動プロファイル（Ｂｏｄｙ  Ｐａｒｔ  Ｓｐｅｃｉｆｉｃ  Ｍｏｔｉｏｎ  Ｐｒｏｆｉｌｅｓ）に変換する画像の例である。
【図８】図８は、身体部位別運動プロファイルが身体部位別頻度係数の一以上の集合に変換され、その後身体部位により分類されたＢＰＳＦＣにて構成される対象物の運動特徴的ベクタ（Ｍｏｔｉｏｎ  Ｓｉｇｎａｔｕｒｅ  Ｖｅｃｔｏｒ）ＭＳＶに集約される処理のステップを含むフローチャートである。
【００１４】
図面に示される要素は必ずしも正しい縮尺で描かれたものではないことを、説明の便宜上及び明確性のために理解されたい。例えば一部の要素の寸法は、明確性の点から、他の要素と比較して拡大されている場合がある。また、複数の図面間で対応する又は類似の要素については、参照符号が適宜反復して用いられる場合がある。
【発明を実施するための形態】
【００１５】
以下の詳細な説明において、本発明の十分な理解を得るために多数の具体的な詳細が記載されている。しかしながら、それらの具体的な詳細がなくても本発明が実施可能であることは、当技術分野における当業者に理解されるところである。その他、本発明を不明瞭なものにしないために、既知の方法、手順、部品、及び回路については記載されていない。
【００１６】
特に断りのない限り、以下の解説から明らかなように、本明細書全体を通して「処理」、「演算」、「計算」、「判断」、及びこれらに類似の用語を用いた解説は、コンピュータ又は演算システム、又は類似の電子計算装置において、例えば演算システムのレジスタや記憶装置内の電子的な分量といった物理的な分量で表されるデータを操作したり、演算システムのメモリやレジスタ、又はその他の情報記憶装置、送信装置、又は表示装置内にて同様に物理的数量で表される他のデータに変換したりする動作と処理、又はその一方を意味するものである。
【００１７】
本発明の実施形態は、本明細書中の動作を実行するための装置を含むものであってもよい。この装置は、所望の目的のために特別に構築されたものでも、或いはコンピュータ内に保存されるコンピュータプログラムにより選択的に起動もしくは再設定される汎用コンピュータを備えたものであってもよい。このようなコンピュータプログラムは、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的にプログラム可能な読取専用メモリ（ＥＰＲＯＭ）、電気的に消去及びプログラム可能な読取専用メモリ（ＥＥＰＲＯＭ）、磁気又は光学式カード、又は電子的な指令を格納しコンピュータのシステムバスに接続可能な他のあらゆる種類の媒体に格納されるものであってもよい。
【００１８】
本明細書において示される処理及び表示については、特定のコンピュータ又は他の装置に本質的に関連するものではない。本明細書における教示に従ったプログラムと共に様々な汎用目的のシステムが使用可能であり、また、所望の方法を実行するために更に特化した装置の構築が簡易であることがここに示される。これらの多様なシステムに所望される構造は、以下の説明に開示される。なお、本発明の実施形態は特定のプログラム言語を参照して記載されたものではない。ここに記載される発明の教示を実現するために、様々なプログラム言語が使用可能であることへの理解が求められる。
【００１９】
本発明は、映像ベースの対象物特定化、分類、識別、及び存在反応、又はこれらのいずれかを提供する方法、システム、装置、回路、及び関連するコンピュータで実行可能な符号を含む。更なる実施形態によれば、視覚的に検出可能な特徴及び対象物に関連する指標、又はこれらのいずれかに基づく対象物の体感をカスタマイズするよう構成されたシステムが提供され得る。一部の実施形態によれば、カメラ、映像回路及びポートを含む、対象物（例、人物、大人、子供等）の複数画像の集合を取り込むよう構成された一以上の映像取得サブシステムが提供される。この一以上の映像取得サブシステムは、一体型であっても、或いは映像解析サブシステムと機能的に連携されているものであってもよい。この映像解析サブシステムは各種画像処理モジュール、論理積回路を含むものであって、対象物の高さ、幅、大きさ、手足の大きさ、手足の大きさ比率、胴の大きさに対する手足の比率、手足の異なる部位間の運動の角度範囲、頭部の大きさ、頭部の動き、髪色及び髪型、顔面の特徴、服装の種類及び着方、特有の身につける装身具といった、対象物の視覚的に検出可能な静的及び動的又はそのいずれかの特徴を一以上、取得した複数画像の集合から抽出、推定、又は判断するよう構成されたものであってもよい。対象物の抽出された特徴は分析され、対象物の（１）年齢、（２）性別、（３）人種、（４）人口層、（５）身体的属性、（６）運動属性、（７）身体的条件、（８）精神的状態、（９）及び現在の意思を示す対象物指標もしくは対象物パラメータを一以上生成するよう特定化又は数値化することが出来る。対象物の動的（運動）特徴から抽出された一部の指標又は指標の集合は、身体部位の運動プロファイル、身体部位の運動プロファイルの組み合わせ、及び運動頻度係数を含むそれらからの抽出物を含むものであってもよい。
【００２０】
対象物識別・分類サブシステムは、抽出された対象物指標を受け取って対象物指標の指標参照データベースにアクセスし、一連の映像中に画像が存在する対象物を識別及び分類、又はその一方を行うよう構成されたモジュール、論理積回路により構成されたものであってもよい。識別・分類サブシステムは、受け取った対象物指標を指標参照データベース内の参照対象物・分類指標と相互の関連付けを試行するものであってもよい。参照データベース内に保存される参照対象物指標は、特定の対象物（例、ドール・ギボンという名前の個人）又はグループ、対象物のタイプ又はカテゴリー（例、男性、アジア系、大人）と関連付けされたものであってもよい。
【００２１】
受け取った対象物指標の集合と参照データベースに保存された参照指標の相互関係は、完全な相互関係であっても、部分的な相互関係であってもよい。特定の状況において、ある追跡中の対象物（個人）に対して受け取った対象物指標の集合が、参照データベース内における当該対象物に対して保存された参照指標の集合より小さいものであってもよい。そのような場合、受け取った指標と参照指標の間での部分的な一致であっても（選択的に、対応する指標間での一致の程度が十分である場合にのみ）、識別又は分類が可能であってもよい。他の例では、ある追跡中の対象物（個人）に対して受け取った対象物指標の集合が、参照データベース内における当該対象物に対して保存された参照指標の集合より大きいものであってもよい。そのような場合、受け取った指標と参照指標の間で一旦一致がなされ（選択的に、対応する指標間での一致の程度が十分である場合にのみ）、個人対象物が識別された場合に、解析サブシステムから受け取った新規又は更新後の、又はその両方の対象物指標を含むよう、参照指標データベース内の当該対象物の記録が更新されるものであってもよい。
【００２２】
対象物の識別又は分類に基づき、対象物反応サブシステムは以下の一以上を変更又は発生させるものであってもよい。（１）対象物の近辺もしくはこれに関連する場所にある建物、環境、周辺にメディア及びコンテンツ又はその一方を表示、（２）対象物の近辺もしくはこれに関連する場所にある建物、環境、周辺の環境条件、及び（３）対象物の近辺もしくはこれに関連する場所にある建物、環境、周辺のセキュリティ状態又は条件。特定の識別された対象物又は特定のグループに所属すると分類された対象物、又は特定の種類の対象物に対する反応は、機能的に関連付けされた反応データベースに保存されたプロファイル又はルールの集合に基づくものであってもよい。
【００２３】
一部の実施形態によれば、視覚的に検出された特徴は静的及び動的な特徴、或いはその一方であってもよい。対象物指標又は対象物パラメータの判断に、静的特徴又は動的特徴のいかなる組み合わせが取得及び解析されてもよい。取得された静的又は動的特徴、又はこれらの組み合わせは、対象物の高さ、幅、大きさ、手足の大きさ、手足の大きさ比率、胴の大きさに対する手足の比率、胴の動き、手足の異なる部位間の運動の角度範囲、手足部分と胴の間の運動の角度範囲、頭部の大きさ、頭部の動き、髪色及び髪型、顔面の特徴、服装の種類及び着方、特有の身につける装身具を含むものであってもよい。その他の視覚的に検出可能な特徴又は特徴の組み合わせは、今日既知の、又は将来的に発見或いは考案されることとなるその他の視覚的に検出可能ないかなる特徴又は特徴の組み合わせも本発明に適用することが出来る。
【００２４】
本発明の更なる実施形態は、対象物の運動力学といった対象物の視覚的に検出可能な動的特徴に基づき映像ベースの個人監視、識別、及び分類又はこれらのいずれかを提供する方法、システム、装置、回路、及び関連するコンピュータで実行可能な符号を含むものであってもよい。一部の実施形態によれば、一連の映像内にて動きのある個人の事例の時空特性を、（１）一以上の身体部位別運動プロファイル（Ｂｏｄｙ  Ｐａｒｔ  Ｓｐｅｃｉｆｉｃ  Ｍｏｔｉｏｎ  Ｐｒｏｉｌｅｓ）（ＢＰＳＭＰ）、（２）身体部位別頻度係数（Ｂｏｄｙ  Ｐａｒｔ  Ｓｐｅｃｉｆｉｃ  Ｆｒｅｑｕｅｎｃｙ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）（ＢＰＳＦＣ）の両方又はいずれか一方に変換することが出来る。ＢＰＳＭＰ又は頻度係数の一方を、対象物指標として保存し、別の一連の映像中に与えられた対象物又は個人の事例を識別するための参照用として用いることが出来る。更なる実施形態によれば、一連の映像中の個人の手足、胴、また選択的には頭部もしくは頸部（身体部位と呼ぶ）の一以上について、当該個人が動いている間に個別に追跡することが出来る。身体部位の動きの追跡は分析され、追跡された一以上の身体部位について運動プロファイルの生成に用いることが出来る（例、ＢＰＳＦＣ）。身体部位別運動プロファイルは、対象物が歩行中、走行中、又はその他の動きを行っている間に繰り返される身体部位の運動を示すものであってもよい。更に、追跡された各身体部位に対して一又は集合による運動関連の頻度係数を生成するために、一以上の運動プロファイルを用いてもよい。与えられた身体部位と関連付けされた運動関連の頻度係数を、身体部位別頻度係数と呼び、追跡された各身体部位に対して一以上のＢＰＳＦＣを生成することが出来る。追跡された各手足、胴、頭部に対する一以上のＢＰＳＦＣは、個人対象物が歩行中又は走行中等の運動中にある間に、当該追跡部位に存在する時空パターン（例、周期的又は繰り返しの運動）を示すものであってもよい。
【００２５】
個人の身体部位別運動プロファイルＢＰＳＭＰ（例、（１）右腕、右脚、及び頭部、（２）右腕、左腕、左脚、及び右肩）の一つ又はこれらの集合は保存してインデックス付けを行うことが出来、更に、後に運動特徴的ベクタ（ＭＳＶ）の一部として参照することが出来る。同一個人の異なる身体部位（例、（１）右腕、右脚、及び頭部、（２）右腕、左腕、左脚及び右肩）に関するＢＰＳＦＣの組み合わせ又は集合についてもまた、保存しインデックス付けを行うことが出来、更に同一の個人に対する同一又は異なる運動特徴的ベクタ（ＭＳＶ）の一部として参照することが出来る。このため、保存された参照ＭＳＶの対応するＢＰＳＭＰ及びＢＰＳＦＣ又はどちらか一方と、映像追跡される個人から抽出された対応するプロファイル及びＢＰＳＦＣとが一致或いは実質的に一致する場合に、映像追跡される人物が参照ＭＳＶの基となった人物と同じであることを示すことが出来る。
【００２６】
参照ＢＰＳＭＰ値の範囲及び参照ＢＰＳＦＣ値の範囲、又はこれらの組み合わせは、年齢層、性別、人種等を含む特定の対象物分類を示すものであってもよい。このため、特定の対象物の一連の映像から抽出され、特定の分類（例、年齢層、性別、人種等）と関連付けされて定義された特定の参照範囲内のＢＰＳＭＰ値及びＢＰＳＦＣ値又はその一方を含むＭＳＶは、一連の映像中の該対象物が該特定の分類（例、年齢層、性別、人種等）に属することを示すことが出来る。
【００２７】
次に、図１Ａには、映像取得サブ・サブシステム、映像解析サブシステム、対象物・分類識別サブシステム、及び対象物反応サブシステムを含む実施形態による、映像ベース対象物存在反応システムの機能ブロック図の例が示される。図１Ａのシステムの動作は図１Ｂと併せて説明され得るものであり、図１Ｂは実施形態による映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）の包括的な処理方法のステップを含むフローチャートであり、当該包括的処理とは、一連の映像における対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析と、対象物を識別又は分類するために対象物・分類指標データベースを参照すること、取得した一連の映像における対象物の識別又は分類に反応するため対象物・分類参照データベースを参照することを含むものである。より詳細には、この映像解析サブシステムは、一連の映像のうち一以上のフレームから特徴を抽出する一以上の画像処理アルゴリズムを採用するものである。特定のアルゴリズムにおいては頭部、肩、腕、脚といった対象物の特徴を各フレーム毎に識別することが出来、また他のアルゴリズムにおいては連続するフレームに渡って特定の対象物の運動を追跡することが出来る。運動に関連しない特徴は静的特徴と呼び、運動に関連する特徴は動的特徴と呼ぶ場合がある。
【００２８】
解析サブシステムはまた、対象物の一以上の静的特徴及び動的特徴又はその一方を分析し、その特徴を一以上の対象物指標に数値化する対象物指標生成モジュールも含む。そして対象物識別・分類サブシステムは、一連の映像中の対象物のために生成された指標を用いて、様々な個人及び個人の様々なタイプ又は分類、又はこれらのいずれかに関連する指標の集合を含むデータベースを参照することが出来る。対象物存在反応サブシステムは、一連の映像中における対象物の存在により起こる反応を判定するため、データベース内の識別された各対象物又は対象物の分類を参照する。
【００２９】
次に図１Ｃは、実施形態による映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）の対象登録方法のステップを含むフローチャートであり、当該登録処理とは、与えられた対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析、与えられた対象物に関連する一以上の記録を、抽出された特徴を以て更新すること、対象物・種類プロファイルデータベース内の一以上の記録を、与えられた対象物の将来的な検出の際に起こる反応を示すデータを以て更新することを含むものである。一連の映像から抽出された指標が、参照データベース内で参照指標と完全な相互関係にない又は完全に一致しない状況において、システムは新たな個人対象物に対する新規レコードを作成し、更新するか、又は既存の対象物レコードに指標を追加することが出来る。
【００３０】
次に、図２は、実施形態による映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）のセキュリティ関連処理のステップを含むフローチャートであり、当該処理とは、一連の映像における対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析、対象物指標の生成、対象物を識別又は分類するために指標参照データベースを参照すること、及び取得した一連の映像における対象物の識別又は分類に対応するためにセキュリティプロファイルデータベースを参照することを含むものである。反応には、警告信号の発行、警告システムの無効化、警告システムの再設定、ドアの施錠又は解錠が含まれる。
【００３１】
次に、図３は、実施形態による映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）の環境関連処理のステップを含むフローチャートであり、当該処理は一連の映像における対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析、対象物指標の生成、及び取得した一連の映像における対象物の識別又は分類に対応するために環境プロファイルデータベースを参照することを含むものである。一部の実施形態によれば、照明、気温、及び背景音楽又はそのいずれかといった環境条件は、特定の環境の好みを予め定義された特定の個人を識別することにより発生させる又は変更することが出来る。
【００３２】
次に、図４は、実施形態による映像ベース対象物存在反応システム（Ｓｕｂｊｅｃｔ  Ｐｒｅｓｅｎｃｅ  Ｒｅｓｐｏｎｓｅ  Ｓｙｓｔｅｍ）（ＳＰＲＳ）のコンテンツ存在関連処理のステップを含むフローチャートであり、当該処理は、一連の映像における対象物の静的及び動的又はその一方で視覚的に検出可能な特徴を抽出する映像解析、対象物指標の生成、取得した一連の映像における対象物の識別又は分類に対応するためにコンテンツプロファイルデータベースを参照することを含むものである。一部の実施形態において、個人を識別することにより、個人毎に定義済みのコンテンツを提示させることが出来る。更に、実施形態によっては、一部の対象物のタイプ又は分類に属する対象物を識別することにより、広告主といった第三者により定義済みの広告や通知等のコンテンツを提示させることが出来る。
【００３３】
次に、図５に、（１）静的特徴及び動的特徴が一連の映像から抽出されること、（２）対象物指標が生成され本発明の実施形態による参照指標として又は参照指標と共に使用されることによる処理のステップを含むフローチャートを示す。図５のステップは、図６Ａ-６Ｃと併せて説明することが出来、図６Ａ-６Ｃは、従来の監視映像から静的及び動的な対象物の特徴の抽出を示す一連の画像の例である。
【００３４】
図７は、従来の一連の映像を身体部位別運動プロファイルに変換する画像の例を示すものである。
【００３５】
図８は、身体部位別運動プロファイルが身体部位別頻度係数の一以上の集合に変換され、その後身体部位により分類されたＢＰＳＦＣにて構成される対象物の運動特徴的ベクタＭＳＶに集約される処理のステップを含むフローチャートである。
【００３６】
一部の実施形態によれば、（１）一連の映像における対象物の事例から対象物の特徴を抽出し、該抽出された特徴に基づき一以上の対象物指標を生成する映像解析モジュール、（２）生成された一以上の対象物指標を、対象物指標の特定の集合が特定の対象物又は対象物のグループと関連付けされている指標参照データベースにおいて、参照指標と相互に関連付けするよう構成された識別・分類モジュール、（３）特定の対象物又は対象物のグループの識別に対してシステムの反応を生成するよう構成された存在反応モジュール、を含む映像ベース対象物反応システムが提供される。少なくとも一つの指標は、対象物の運動力学を示すものであってもよい。指標は、少なくとも一つの身体部位別運動プロファイルを含むものであってもよい。指標は、少なくとも一つの身体部位別頻度係数を含むものであってもよい。
【００３７】
更なる実施形態によれば、当該システムは映像取得サブシステムを含むものであってもよく、存在反応モジュールは、前記システムに関連する場所のセキュリティ条件を変更させる信号を生成するよう構成されていてもよい。参照指標のうち一つの集合は、禁止又は制限された特定のグループ又は対象物の集合に関連付けされてもよい。
【００３８】
更なる実施形態によれば、当該システムは映像取得サブシステムを含むものであってもよく、存在応答モジュールは、前記システムに関連する場所の環境条件を変更させる信号を生成するよう構成されていてもよい。参照指標のうち一つの集合は、家族の構成員に関連付けされてもよい。
【００３９】
更なる実施形態によれば、当該システムは映像取得サブシステムを含むものであってもよく、存在応答モジュールは、前記システムに関連付けされたディスプレイにコンテンツを表示させる又はコンテンツを変更させる信号を生成させるよう構成されていてもよい。参照指標のうち一つの集合は、特定の層の人々に関連付けされてもよい。
【００４０】
本明細書において本発明の特定の特徴が説明及び記載されたが、多くの部分的修正、代替、変更及び均等物が今後、当業者に想起されることになる。ついては、添付されたクレームは、本発明の真の精神に含まれるこのような部分的修正や変更を網羅するものとして理解が求められる。
【図１Ａ】
2014533851.tif 000003
【図１Ｂ】
2014533851.tif 000004
【図１Ｃ】
2014533851.tif 000005
【図２】
2014533851.tif 000006
【図３】
2014533851.tif 000007
【図４】
2014533851.tif 000008
【図５】
2014533851.tif 000009
【図６Ａ】
2014533851.tif 000010
【図６Ｂ】
2014533851.tif 000011
【図６Ｃ】
2014533851.tif 000012
【図７】
2014533851.tif 000013
【図８】
2014533851.tif 000014
【国際調査報告】
2014533851.tif 000015